IBM与英伟达竞争对手Groq达成合作，加速企业AI部署

IBM公司和Groq公司今天宣布建立战略合作伙伴关系，旨在通过将IBM的watsonx Orchestrate与Groq的硬件加速推理技术相结合，加速企业智能体人工智能的部署。

此次合作将让IBM客户通过IBM平台访问Groq的语言处理单元，目标是降低大规模低延迟AI的成本。

Groq是一家以硬件为核心的AI基础设施公司，专门通过其专有的LPU架构进行推理加速。IBM表示，Groq的定制LPU比英伟达公司制造的传统图形处理器提供超过五倍的速度和更高的成本效率推理，即使在工作负载扩大时也能保持一致的性能。

两家公司还将扩展对虚拟大语言模型和Red Hat的llm-d框架的支持，用于在Groq的LPU架构上进行大规模分布式推理。IBM的Granite模型将在GroqCloud上运行，这是一个为开发者提供大语言模型高速、低成本处理访问的推理平台。

IBM表示，Groq提供了一个安全、合规的AI部署平台，满足最严格的监管和安全要求。Watsonx Orchestrate用于使用预构建或定制设计的智能体自动化业务流程。与watsonx Orchestrate的集成旨在帮助IBM客户更快、更低成本地将专用智能体推向生产。

Groq已筹集18亿美元资金，包括上个月的7.5亿美元融资轮，使该公司估值达到69亿美元。

IBM表示，速度和编排的结合对医疗保健和金融等受监管行业至关重要。它举例说明一家健康保险提供商使用Groq技术同时实时处理数千个患者和提供商的问题。

IBM软件高级副总裁兼首席商务官Rob Thomas在声明中表示："许多大型企业组织在实验时有各种AI推理选择，但当他们想要投入生产时，必须确保复杂工作流程能够成功部署，以确保高质量的体验。"

IBM表示，访问Groq功能的服务立即可用。

Q&A

Q1：Groq的LPU技术相比英伟达GPU有什么优势？

A：IBM表示，Groq的定制LPU比英伟达制造的传统图形处理器提供超过五倍的速度和更高的成本效率推理，即使在工作负载扩大时也能保持一致的性能。

Q2：IBM和Groq的合作对企业客户有什么好处？

A：此次合作将让IBM客户通过IBM平台访问Groq的语言处理单元，目标是降低大规模低延迟AI的成本，并帮助客户更快、更低成本地将专用智能体推向生产。

Q3：Groq技术在哪些行业有实际应用？

A：IBM表示速度和编排的结合对医疗保健和金融等受监管行业至关重要，并举例说明一家健康保险提供商使用Groq技术同时实时处理数千个患者和提供商的问题。