英伟达展示Rubin CPX推理性能预览

英伟达于周二展示了其新款和计划发布GPU的推理优势，该公司正为数据中心从密集AI训练工作负载向更多样化推理需求的转变做准备。

英伟达凭借其先进的GPU在AI训练市场占据主导地位。但随着需求转向推理工作负载——使用训练好的模型进行预测——不同的用例将需要各种硅解决方案。

这家位于加利福尼亚州圣克拉拉的GPU巨头发布了Rubin CPX，这是一款专为处理大规模上下文而构建的新型GPU。这将使AI系统能够处理百万Token的软件编程和生成式视频。

新设备还承诺为推理任务提供能效和高性能，投资1亿美元可获得50亿美元的Token收入。

Rubin CPX将在英伟达新的Vera Rubin NVL 144 CPX平台内运行。

该公司表示，其由Blackwell Ultra和即将推出的Vera Rubin GPU驱动的新推理数据中心平台将解决最繁重的工作负载。

转向推理市场

随着市场转变，英伟达在数据中心市场份额主导地位可能面临更多来自专注各种推理需求公司的竞争。因此，该制造商押注其顶级GPU为驱动所谓"AI工厂"的专家混合(MoE)大语言模型架构提供所需性能。

根据Markets and Markets报告，全球AI推理市场2025年估值为1060亿美元，预计到2030年将增长至2550亿美元。

"我喜欢英伟达向推理领域倾斜，因为那是市场发展方向，"Moor Insights & Strategy副总裁兼首席分析师Matt Kimball在接受Data Center Knowledge采访时表示。

"Rubin是一个强大的组件...就像Blackwell相比Hopper一样强大。你说的是开启更快更大的推理，开启那些Token窗口。"

但Kimball表示，该产品并非针对普通企业用户。"这是采用Rubin并创建专门的推理组件，真正面向高端市场，"他补充说，超大规模云服务商和大型企业可能构成Rubin客户的主体。

英伟达AI和数据中心GPU营销总监Shar Narasimhan表示："[Rubin CPX]解锁了智能编程系统和视频生成等高端用例的新层级。它将大幅提高AI工厂的生产力和性能。"

Blackwell Ultra的推理性能提升

周二，英伟达还分享了其Blackwell Ultra驱动的GB300 NVL72机架级系统的基准测试结果，显示DeepSeek-R1推理性能比前代产品提升1.4倍。

该公司表示，该系统还在MLPerf Inference v5.1套件新增的所有数据中心基准测试中创下记录，包括Llama 3.1 405B Interactive、Llama 3.1 8B和Whisper。

英伟达加速计算产品总监Dave Salvatore在新闻发布会上表示："我对这些数字非常满意。随着我们继续优化Blackwell Ultra软件栈，我们预计这些数字会随时间增长。"

英伟达表示，Blackwell Ultra的基准测试结果展示了硬件提高AI工厂生产力、增加收入并降低拥有成本的潜力。

Q&A

Q1：Rubin CPX是什么？有什么特殊功能？

A：Rubin CPX是英伟达发布的一款专为处理大规模上下文而构建的新型GPU。它能够使AI系统处理百万Token的软件编程和生成式视频，专门针对大规模推理工作负载设计，承诺为推理任务提供高能效和高性能。

Q2：AI推理市场前景如何？

A：根据Markets and Markets报告，全球AI推理市场2025年估值为1060亿美元，预计到2030年将增长至2550亿美元。随着市场从AI训练转向推理应用，这个领域正成为重要的增长点。

Q3：Blackwell Ultra相比前代产品有什么提升？

A：Blackwell Ultra驱动的GB300 NVL72系统在DeepSeek-R1推理性能上比前代产品提升1.4倍，并在MLPerf Inference v5.1套件的所有新增数据中心基准测试中创下记录，包括Llama 3.1 405B Interactive、Llama 3.1 8B和Whisper等测试项目。