逃避与英伟达竞争，英特尔将通过Gaudi 3打造更经济高效的AI系统
10月18日音问，笔据外媒CRN报说念称，英特尔还是强硬到，在与英伟达（NVIDIA）在云表AI大模子锻真金不怕火方面竞争莫得上风，因此正通过Gaudi 3 转向更疑望经济高效的企业级和角落AI系统率域。
CRN称，英特尔将旗下最新的Gaudi 3 AI加快器定位为有价值产物，是市集上最好性价比的产物。固然从性能角度来看，Gaudi 3 莫得追上英伟达最新的GPU，但该芯片也受到了好多企业的关注，因为这些企业需要具有资本效益的 AI 系统进行锻真金不怕火，并在更猛进程上推理更小的、基于任务的模子和开源模子。
英特尔在上个月就曾文书，AI加快器芯片是扭亏为盈的关节产物，Gaudi 3 将于 10 月在戴尔科技和超微电脑的做事器中初度亮相。预测Gaudi 3 将在第四季度晚些时候全面上市，比英特尔在 4 月份给出的第三季度上市时刻有所延长。
惠普企业预测将在 12 月推出我方的 Gaudi 3 系统。包括祈望在内的其他 OEM 的厂商可能也将会推出基于Gaudi 3 的系统。
在云方面，Gaudi 3 将于明岁首通过 IBM Cloud 上托管的做事提供，况且很快将在 Intel Tiber AI Cloud 上提供，Intel Tiber AI Cloud 是英特尔最近改名的云做事，旨在赞助贸易应用本领。
在最近的一次新闻发布会上，英特尔强调了其围绕 Gaudi 3 的竞争信息，称与 2022 岁首度亮相的英伟达H100 GPU 比较，它提供了“性价比上风”，尤其是在推理方面。
零碎是跟着“以推理为中心”的大言语模子（LMM）的推出，英特尔称Gaudi 3系列性能与英伟达备受迎接的H100性能高出，尤其是在推理责任负载大幅上升的情况下。笔据英特尔狡计，在80亿参数的Llama 3模子中，Gaudi 3比H100快约9%，性价比高80%；在Llama 2模子中，Gaudi 3速率要高19%，性价比各异则高达2倍，确乎令东说念主印象深远。
固然英特尔Gaudi 3在这两项LLM测试发达优于英伟达H100和H200，但在FB16和FP8体式的浮点运算的测试中，发达仍不如H100。Gaudi 3 不错针对每种体式引申每秒 1835 万亿次浮点运算 （TFLOPS），而 H100 的 BF16 不错达到 1979 TFLOPS，FP8 不错达到 3958 TFLOPS。
这也标明，英特尔AI芯片在狡计力方面仍然存在不及，更何况英伟达新一代更强的Blackwell GPU行将上市，还有AMD等东说念主工智能狡计领域的强有劲的竞争敌手的竞争。AMD高涨文书，其行将推出的 Instinct MI325X GPU 在推理责任负载方面的性能不错跨越英伟达的 H200，并誓词其下一代 MI350 芯片将性能擢升一个数目级。
因此，英特尔决定不参与主流的AI模子锻真金不怕火市集竞争，不狡计在该领域与英伟达的GPU正面交锋。
调遣赛说念
在接受 CRN 采访时，英特尔 AI 加快部门正经东说念主 Anil Nanduri 暗示，到目下为止，围绕锻真金不怕火 AI 模子的基础设施的购买决策主要基于性能而不是资本，这一趋势在很猛进程上使英伟达受益，它使该公司概略在 AI 开发东说念主员中竖立起苍劲的生态。反过来看，开发东说念主员对英伟达的全套技艺进行了大批投资，以构建他们的应用本领，从而也擢升了他们将开发变嫌到另一个平台的难度和资本。
“如果你在阿谁配景下念念考，就会发现一个现存的公道，即悉数的前沿模子磋商、悉数功能王人是在事实上的平台上开发的，你正在构建它，你正在磋商它，你践诺上也在潜强硬中优化它。然后使该端口变嫌到 不同的平台 是一项责任。”Nanduri 说。
至少目下，像 Meta 和 Microsoft 这么的超大规模企业在超苍劲的 AI 数据中心基础设施上参加大批资金以鼓吹顶端功能，而无需立即产生利润，这可能是专门念念的。举例，据 CNBC 和其他出书物上个月报说念，OpenAI 本年的收入为 36 亿好意思元，预测本年将产生 50 亿好意思元的亏空，其中一部分与做事关联。
但许多企业职守不起此类投资并接受此类损失。Nanduri 称，他们可能也不需要大规模的 AI 模子走动应远远超出其关注领域的主题的问题。“咱们初始看到的天下是，东说念主们正在质疑 投资薪金、资本、电力和其他一切。但咱们认为，客户确实想要一个无所不知的巨型模子吗？”Nanduri 说。
Nanduri 认为，关于许多企业来说，谜底是含糊的，他们会将遴荐更小、基于特定任务的模子，这些模子具有更轻的性能需求。固然从正面性能的角度来看，Gaudi 3 “莫得赶上”英伟达的最新 GPU，但加快器芯片相等符合为代表企业运行基于任务的模子和开源模子提供更具经济效益的系统，而这恰是英特尔的“传统上风”所在。
“关于咱们有好多悠闲关系的企业来说，他们并不是 AI 的第一批快速给与者。他们践诺上对怎样部署王人相等三念念尔后行。是以我认为这便是促使咱们评估产物市集契合度以及咱们的客户群的原因，咱们传统上在这些领域有着悠闲的关系。”他说。
本年事首成为英特尔数据中心和东说念主工智能集团正经东说念主的 前HPE 资深东说念主士贾斯汀·霍塔德 （Justin Hotard） 暗示，他和其他交流者在听到企业客户想要更经济的东说念主工智能系统后详情了这一策略，这有助于让英特尔信赖此类产物可能有很大的市集。
“咱们以为咱们在产物方面所处的位置、参与的客户、咱们正在处分的问题，这便是咱们的赛说念。不错校服的是，市集将在阿谁领域通达，况且会有一群东说念主构建我方的推领路决决策，”他在新闻发布会上回应 CRN 的问题时说。
在本年 8 月的一次金交融议上，英特尔CEO帕特·基辛格也承认，该公司不会“很快与高端AI锻真金不怕火竞争”，其竞争敌手还是“遥遥动身点”，因此英特尔将押注于企业和角落的 AI 部署。
“如今，70% 的狡计是在云中完成的。80% 以上的数据仍保留在土产货或由企业为止。仔细想想，这是一个相等赫然的对比。因此，任务关节型业务数据还是到此为止，对 AI 的悉数热心王人已到此为止。我会争申辩，畴昔 25 年的云数据还莫得变嫌到云中，我也不认为它会变嫌到云中，”他在德意志银行分析师会议上这么说说念。
押注通达生态系统
英特尔还但愿通过跨硬件基础设施、软件平台和应用本领给与通达式生态系统规范来匡助 Gaudi 3 赢得客户。英特尔的高管们暗示，这与英伟达的“围墙花坛”策略酿成赫然对比。
英特尔数据中心和东说念主工智能职业部产物管束副总裁 Saurabh Kulkarni暗示，客户和合作伙伴不错遴荐将 Gaudi 3 从一个具有 8 个加快器芯片的系统膨大到一个具有 8000 多个芯片的 1024 节点集群，中间有多个设立选项，悉数这些王人意味着不同的性能水平。
他说，为了收尾硬件生态系统，英特尔正在通过为 OEM 提供参考架构和想象来裁汰使用门槛，“然后不错将其用作咱们的客户以模块化神气复制和构建基础设施的蓝图”。
这些参考架构将由多样通达标准提供赞助，从用于相连的以太网和 PCIe 到用于漫步式存储的 DAOS 和用于编程的 SYCL，英特尔暗示这有助于防患供应商锁定。
在软件方面，英特尔高管 Bill Pearson 暗示，该公司的通达规范意味着合作伙伴和客户不错从不同供应商的多样用具中进行遴荐，以舒服 AI 系统的多样软件需求。他将此与英伟达的规范进行了对比，后者创建了许多仅适用于英伟达我方GPU的用具。
“咱们不是创建客户或开发东说念主员可能需要的悉数效具，而是依靠咱们的生态系统合作伙伴来作念到这少许。咱们与他们合作，然后匡助客户遴荐对他们的特定企业专门念念的产物。”英特尔数据中心和 AI 集团软件副总裁 Pearson 说。
这种通达式生态系统软件规范的一个关节方面是企业 AI 通达平台 （OPEA），该组织于本年早些时候在 Linux 基金会下成立，旨在算作可用于 AI 系统的微做事的基础。该小组的成员包括 AMD、英特尔 和 Rivos 等芯片公司，以及多样软件提供商，包括 VMware 和 Red Hat 等编造化提供商，以及 Domino、Clarifai 和 Intel 赞助的 Articul8 等 AI 和机器学习平台。
“当咱们磋商怎样欺诈这些微服求实施处分决策时，堆栈的每个组件王人有多个产物/做事，因此您需要相等具体地说明什么最符合您的产物/做事。你有偏好吗？它是采购契约吗？这是技艺偏好吗？关磋商偏好吗？”
“然后客户不错遴荐对他们的业务专门念念的部分、组件和因素。对我来说，这是咱们通达式生态系统最好的少许，便是咱们不会把谜底交给你。相背，咱们为您提供用具，让您遴荐最好谜底，“他补充说念。
英特尔面向 AI 系统的软件规范的关节是专注于检索增强生成 （RAG），它允许 LLM 对专有企业数据引申查询，而无需微调或再行锻真金不怕火这些模子。
“这最终使组织概略更快、更经济高效地定制和启动 GenAI 应用本领，”Pearson 说。
为了匡助客户竖立基于 RAG 的 AI 应用本领，英特尔筹办在本年晚些时候推露面向企业 RAG 的英特尔 AI，这是由英特尔和第三方开发的处分决策目次，将于本年年底前初度亮相。这些处分决策适用于从代码生成和代码调遣到内容纲领和问答等多样使用案例。
Pearson 暗示，英特尔“具有独到的上风”，不错欺诈英特尔和合作伙伴开发的技艺处分企业在部署基于 RAG 的东说念主工智能基础设施时濒临的挑战，这些技艺从配备 OEM 的 Gaudi 和 Xeon 芯片的历程考证的做事器初始，包括软件优化、矢量数据库和镶嵌模子、管束和编排软件、OPEA 微做事和 RAG 软件。
“悉数这些王人使企业客户概略简陋实施基于英特尔 AI for Enterprise RAG 的处分决策，”他说。
渠说念将成为 Gaudi 3 胜出的“关节”
在上周接受 CRN 采访时，英特尔公司副总裁兼好意思洲销售组织和寰球客户总司理 Greg Ernst 暗示，渠说念合作伙伴关于将基于 Gaudi 3 的系统送到客户手中至关精深。
Ernst 暗示，为了让英特尔达到这少许，这家芯片制造商需要 Gaudi 3 赢得做事器供应商的世俗赞助，“像 World Wide Technology 这么的合作伙伴不错实在相助起来”。他补充说，英特尔”与合作伙伴沿路在怎样销售产物和实施产物赞助方面作念了大批学习”。
“当今咱们还是为规模化作念好了准备，合作伙伴将成为其中的关节，”他说。
IBM Cloud 产物和行业平台总司理 Rohit Badlaney 告诉 CRN，该公司的“构建”零丁软件供应商 （ISV） 合作伙伴、升值分销商和寰球系统集成商是 IBM 筹办销售基于 Gaudi 3 的云做事的三种主要神气，这些做事将主要围绕其 Watson AI 平台。
“咱们有一个完好的销售生态系统团队，他们将专注于构建 ISV，包括镶嵌和构建咱们的 Watson 平台，当今咱们的 Red Hat 开发东说念主员堆栈正在进行雷同的致力于，”他在上个月的英特尔新闻发布会上说。
Badlaney 暗示，IBM Cloud 还是测试了英特尔对 Gaudi 3 的“性价比上风”声明，并对他们的发现印象深远。
“当咱们检察 Gaudi 3 的功能时，零碎是咱们的 watsonx 数据和 AI 平台，从资本效益的角度来看，它在咱们的测试中确乎不落俗套。因此，咱们将将其应用于的第一组用例是围绕咱们我方的品牌模子和咱们看到的其他一些模子进行推理，“他说。
戴尔企业策略高等副总裁 Vivek Mohindra 暗示，通过将 Gaudi 3 纳入其 PowerEdge XE9680 产物组合，他的公司为合作伙伴和客户提供了替代给与英特尔竞争敌手加快器芯片的系统的契机。他补充说，戴尔用于管束高性能狡计和 AI 责任负载的 Omnia 软件与 OPEA 微做事配合精采，为企业提供了一个部署新基础设施的“浅显按钮”。
他在英特尔的新闻发布会上说：“它也为客户提供了一个遴荐，然后在软件上，咱们的 Omnia 堆栈不错与 [英特尔的] OPA 互操作，这为客户提供了相对容易地给与和膨大它的巨大才智。”
总部位于伊利诺伊州诺斯布鲁克的系统集成商 International Computer Concepts 的首席技艺官 Alexey Stolyar 告诉 CRN，他的公司初始围绕 Gaudi 3 进行高等培训课程，他不错看到需要由此类芯片收尾经济高效的 AI 系统，这主淌若因为锻真金不怕火或微调大型模子需要些许功率。
“你会发现，天下上好多场地王人将关注比这些巨大的模子更小、更高效、更精准的模子。大型企业擅长一般任务，但不擅长相等具体的任务。企业将初始开发我方的模子或微调特定的开源模子，但它们将变得更小，后果更高，“他说。
Stolyar 说，固然 International Computer Concepts 尚未初始主动与客户商讨 Gaudi 3 系统，但一位客户还是与他的公司接洽，为客户筹办针对特定责任负载销售的交钥匙拓荒开发 Gaudi 3 系统，因为基准测试标明该芯片发达精采。
然则，这位处分决策提供商高管也指出，他不祥情 Gaudi 3 代表着多大的契机，并补充说，英特尔的到手将在很猛进程上取决于 Gaudi 3 系统相干于由英伟达芯片和软件提供赞助的系统易用性。
“我认为客户想要其他遴荐。我认为领有精采的竞争是好的，但在这种易用性出现之前，它不会发生。英伟达还是这么作念了一段时刻。他们一直在阿谁生态系统中微调他们的软件包等，“他说。
一家处分决策提供商的一位高等交流告诉 CRN，他的公司与英特尔代表的对话给他的印象是，这家芯片制造商并不寻求与英伟达正面交锋，而是但愿赢得 AI 市集的一定“百分比”。
“他们一直在挑剔 Gaudi 3 很长一段时刻：嘿，这将是咱们的谋略。咱们要竞争。但我认为他们也带着一些和睦的期望进来。比如，让咱们在这个市集合竞争。咱们自己不会与英伟达正面交锋，但咱们不错处分其中的一些问题并为客户提供遴荐。让咱们挑选出五个客户，去和他们谈谈，”这位不肯闪现姓名的高管说，他条件坦率地挑剔他与英特尔的合作。
这位处分决策提供商正经东说念主暗示，他确乎认为像由 Gaudi 3 提供赞助的具有资本效益的 AI 系统可能会有市集，因为他从客户何处传闻，他们越来越强硬到腾贵的 AI 基础设施资本。
“从某种进程上讲，当你遴选这种规范时，你承认别东说念主还是赢了。但如果它作念到了别东说念主莫得作念到的这些事情（高性价比），你不计议它便是个傻瓜，因为它会为你简约财富、电力和其他一切。但这不是一种接受天下的策略，“他说。
剪辑：芯智讯-浪客剑 开始：CRN