构建任何复杂系统都是其各部分的总和,但最基础的元素是将它们绑定在一起的东西。在砖块中,是砂浆;在木材中,是钉子;而在数据中心中,则是网络。去年,英伟达 CEO 黄仁勋宣称"数据中心是新的计算单元"。这意味着整个数据中心应被视为单一系统,就像芯片系统 (SoC) 或服务器一样。将所有这些独立元素(包括处理、内存和存储)组合到一个平台中,需要一个复杂、高性能、低延迟的网络。
披露:我的公司 Tirias Research 曾为英伟达和本文提到的其他公司提供咨询服务。
2024 年,英伟达推出了新的 Blackwell GB200 GPU AI 加速器,与 Grace CPU 结合在新的 NVL72 机架服务器配置中。虽然 GPU 和机架配置是且仍然是行业领先的解决方案,但真正的明星是 NVLink 交换机,它允许所有 72 个 GPU 互连并作为单一 GPU 运行,本质上是服务器和机架的基础。因为它都在同一个机架中,所以被称为纵向扩展解决方案。2025 年,英伟达正寻求通过新的同封装光学网络解决方案在整个数据中心横向扩展网络。
据英伟达称,它与多家行业合作伙伴合作开发了 Quantum-X InfiniBand 和 Spectrum-X 以太网硅光子网络交换机,在网络模块上采用同封装光学技术。此外,英伟达还推出了三款新的液冷光学网络交换机。由于 AI 数据中心(尤其是 AI 工厂)的高网络需求,光学网络已经很常见。虽然它在性能提升和延迟减少方面提供了显著优势,但在功耗、空间、复杂性和成本方面也带来了代价。据英伟达称,一个 AI 工厂可使用多达 240 万个光学收发器,消耗高达 24MW 的功率,可能占到整个数据中心功耗的 10% 以上。
与传统光学收发器相比,英伟达声称 Spectrum-X 硅光子网络交换机可将激光器数量减少 4 倍,功率效率提高 3.5 倍,信号完整性提高 63 倍,网络弹性提高 10 倍,网络部署时间缩短 1.3 倍。这些改进对于满足智能代理 AI 的需求至关重要,智能代理 AI 可能需要比分布在数据中心资源上的生成式 AI 工作负载多出数百倍的资源。英伟达新的网络解决方案将使数据中心能够继续随着 AI 需求的增长而扩展。
虽然这一公告对英伟达是一个提振,但对整个行业来说是一个里程碑。同封装光学解决方案自 2000 年以来一直在开发中,但由于技术和制造挑战(如光纤耦合和光源集成)而未进入大规模生产。虽然业界一致认为同封装光学技术是不可避免的,但许多人仍然认为大规模生产的解决方案可能还需要几年时间。然而,在其合作伙伴的协助下,英伟达声称已经克服了这些挑战,并准备从今年晚些时候开始批量生产。英伟达的合作伙伴包括 Browave、Coherent、Corning、Fabrinet、富士康、Lumentum、Senko、SPIL、住友电气、TFC 和台积电。
除了新的网络解决方案外,英伟达还发布了大量其他公告,包括:
英伟达宣布了数据中心 GPU 的未来三代产品 - Blackwell Ultra、Rubin 和 Rubin Ultra
面向 AI 开发者的新型 DGX Spark(前身为 Project Digits)和 DGX Station 系统
Blackwell DGX SuperPOD,一个开箱即用的 AI 工厂
用于开发和最大化智能代理 AI 解决方案的多种新模型/库和软件解决方案
即使有所有这些其他公告,网络仍然是黄仁勋主题演讲和 GTC 连续第二年的亮点。它不仅提高了数据中心的性能效率,还推进了对整个行业至关重要的技术。虽然今天的目标是机架到机架的横向扩展连接,但随着行业推动铜互连的极限,未来可能会针对内部机架纵向扩展网络。
好文章,需要你的鼓励
施耐德电气以“新质服务+产业向‘新’行”为主题,第六次参会,展示全新升级的“新质服务体系”,围绕创新驱动、生态协同和行业赋能三大核心领域,以全新升级的“新质服务体系”,助力中国产业向高端化、智能化、绿色化迈进。
香港中文大学联合上海AI实验室推出Dispider系统,首次实现AI视频"边看边聊"能力。通过创新的三分式架构设计,将感知、决策、反应功能独立分离,让AI能像人类一样在观看视频过程中进行实时交流,在StreamingBench测试中显著超越现有系统,为教育、娱乐、医疗、安防等领域的视频AI应用开启新可能。
甲骨文正在成为大规模基础设施供应商的可靠选择。该公司通过AI技术推动应用开发,构建GenAI模型并将智能代理集成到应用套件中。CEO萨弗拉·卡茨透露,公司剩余履约义务达4553亿美元,同比增长4.6倍,并预测OCI收入将从2026财年的180亿美元增长至2030财年的1440亿美元。甲骨文正积极布局AI推理市场,凭借其作为全球最大企业私有数据托管方的优势地位,有望在云计算领域实现重大突破。
Atla公司发布Selene Mini,这是一个仅有80亿参数的AI评估模型,却在11个基准测试中全面超越GPT-4o-mini。通过精心的数据筛选和创新训练策略,该模型不仅能准确评判文本质量,还能在医疗、金融等专业领域表现出色。研究团队将模型完全开源,为AI评估技术的普及和发展做出贡献。