英伟达于周二展示了其新款和计划发布GPU的推理优势,该公司正为数据中心从密集AI训练工作负载向更多样化推理需求的转变做准备。
英伟达凭借其先进的GPU在AI训练市场占据主导地位。但随着需求转向推理工作负载——使用训练好的模型进行预测——不同的用例将需要各种硅解决方案。
这家位于加利福尼亚州圣克拉拉的GPU巨头发布了Rubin CPX,这是一款专为处理大规模上下文而构建的新型GPU。这将使AI系统能够处理百万Token的软件编程和生成式视频。
新设备还承诺为推理任务提供能效和高性能,投资1亿美元可获得50亿美元的Token收入。
Rubin CPX将在英伟达新的Vera Rubin NVL 144 CPX平台内运行。
该公司表示,其由Blackwell Ultra和即将推出的Vera Rubin GPU驱动的新推理数据中心平台将解决最繁重的工作负载。
转向推理市场
随着市场转变,英伟达在数据中心市场份额主导地位可能面临更多来自专注各种推理需求公司的竞争。因此,该制造商押注其顶级GPU为驱动所谓"AI工厂"的专家混合(MoE)大语言模型架构提供所需性能。
根据Markets and Markets报告,全球AI推理市场2025年估值为1060亿美元,预计到2030年将增长至2550亿美元。
"我喜欢英伟达向推理领域倾斜,因为那是市场发展方向,"Moor Insights & Strategy副总裁兼首席分析师Matt Kimball在接受Data Center Knowledge采访时表示。
"Rubin是一个强大的组件...就像Blackwell相比Hopper一样强大。你说的是开启更快更大的推理,开启那些Token窗口。"
但Kimball表示,该产品并非针对普通企业用户。"这是采用Rubin并创建专门的推理组件,真正面向高端市场,"他补充说,超大规模云服务商和大型企业可能构成Rubin客户的主体。
英伟达AI和数据中心GPU营销总监Shar Narasimhan表示:"[Rubin CPX]解锁了智能编程系统和视频生成等高端用例的新层级。它将大幅提高AI工厂的生产力和性能。"
Blackwell Ultra的推理性能提升
周二,英伟达还分享了其Blackwell Ultra驱动的GB300 NVL72机架级系统的基准测试结果,显示DeepSeek-R1推理性能比前代产品提升1.4倍。
该公司表示,该系统还在MLPerf Inference v5.1套件新增的所有数据中心基准测试中创下记录,包括Llama 3.1 405B Interactive、Llama 3.1 8B和Whisper。
英伟达加速计算产品总监Dave Salvatore在新闻发布会上表示:"我对这些数字非常满意。随着我们继续优化Blackwell Ultra软件栈,我们预计这些数字会随时间增长。"
英伟达表示,Blackwell Ultra的基准测试结果展示了硬件提高AI工厂生产力、增加收入并降低拥有成本的潜力。
Q&A
Q1:Rubin CPX是什么?有什么特殊功能?
A:Rubin CPX是英伟达发布的一款专为处理大规模上下文而构建的新型GPU。它能够使AI系统处理百万Token的软件编程和生成式视频,专门针对大规模推理工作负载设计,承诺为推理任务提供高能效和高性能。
Q2:AI推理市场前景如何?
A:根据Markets and Markets报告,全球AI推理市场2025年估值为1060亿美元,预计到2030年将增长至2550亿美元。随着市场从AI训练转向推理应用,这个领域正成为重要的增长点。
Q3:Blackwell Ultra相比前代产品有什么提升?
A:Blackwell Ultra驱动的GB300 NVL72系统在DeepSeek-R1推理性能上比前代产品提升1.4倍,并在MLPerf Inference v5.1套件的所有新增数据中心基准测试中创下记录,包括Llama 3.1 405B Interactive、Llama 3.1 8B和Whisper等测试项目。
好文章,需要你的鼓励
英特尔第三季度财报超华尔街预期,净收入达41亿美元。公司通过裁员等成本削减措施及软银、英伟达和美国政府的大额投资实现复苏。第三季度资产负债表增加200亿美元,营收增长至137亿美元。尽管财务表现强劲,但代工业务的未来发展策略仍不明朗,该业务一直表现不佳且面临政府投资条件限制。
美国认知科学研究院团队首次成功将进化策略扩展到数十亿参数的大语言模型微调,在多项测试中全面超越传统强化学习方法。该技术仅需20%的训练样本就能达到同等效果,且表现更稳定,为AI训练开辟了全新路径。
微软发布新版Copilot人工智能助手,支持最多32人同时参与聊天会话的Groups功能,并新增连接器可访问OneDrive、Outlook、Gmail等多项服务。助手记忆功能得到增强,可保存用户信息供未来使用。界面新增名为Mico的AI角色,并提供"真实对话"模式生成更机智回应。医疗研究功能也得到改进,可基于哈佛健康等可靠来源提供答案。同时推出内置于Edge浏览器的Copilot Actions功能,可自动执行退订邮件、预订餐厅等任务。
纽约大学等机构联合开发的ThermalGen系统能够将普通彩色照片智能转换为对应的热成像图片,解决了热成像数据稀缺昂贵的难题。该系统采用创新的流匹配生成模型和风格解耦机制,能适应从卫星到地面的多种拍摄场景,在各类测试中表现优异。研究团队还贡献了三个大规模新数据集,并计划开源全部技术资源,为搜救、建筑检测、自动驾驶等领域提供强有力的技术支撑。