构建任何复杂系统都是其各部分的总和,但最基础的元素是将它们绑定在一起的东西。在砖块中,是砂浆;在木材中,是钉子;而在数据中心中,则是网络。去年,英伟达 CEO 黄仁勋宣称"数据中心是新的计算单元"。这意味着整个数据中心应被视为单一系统,就像芯片系统 (SoC) 或服务器一样。将所有这些独立元素(包括处理、内存和存储)组合到一个平台中,需要一个复杂、高性能、低延迟的网络。
披露:我的公司 Tirias Research 曾为英伟达和本文提到的其他公司提供咨询服务。
2024 年,英伟达推出了新的 Blackwell GB200 GPU AI 加速器,与 Grace CPU 结合在新的 NVL72 机架服务器配置中。虽然 GPU 和机架配置是且仍然是行业领先的解决方案,但真正的明星是 NVLink 交换机,它允许所有 72 个 GPU 互连并作为单一 GPU 运行,本质上是服务器和机架的基础。因为它都在同一个机架中,所以被称为纵向扩展解决方案。2025 年,英伟达正寻求通过新的同封装光学网络解决方案在整个数据中心横向扩展网络。
据英伟达称,它与多家行业合作伙伴合作开发了 Quantum-X InfiniBand 和 Spectrum-X 以太网硅光子网络交换机,在网络模块上采用同封装光学技术。此外,英伟达还推出了三款新的液冷光学网络交换机。由于 AI 数据中心(尤其是 AI 工厂)的高网络需求,光学网络已经很常见。虽然它在性能提升和延迟减少方面提供了显著优势,但在功耗、空间、复杂性和成本方面也带来了代价。据英伟达称,一个 AI 工厂可使用多达 240 万个光学收发器,消耗高达 24MW 的功率,可能占到整个数据中心功耗的 10% 以上。
与传统光学收发器相比,英伟达声称 Spectrum-X 硅光子网络交换机可将激光器数量减少 4 倍,功率效率提高 3.5 倍,信号完整性提高 63 倍,网络弹性提高 10 倍,网络部署时间缩短 1.3 倍。这些改进对于满足智能代理 AI 的需求至关重要,智能代理 AI 可能需要比分布在数据中心资源上的生成式 AI 工作负载多出数百倍的资源。英伟达新的网络解决方案将使数据中心能够继续随着 AI 需求的增长而扩展。
虽然这一公告对英伟达是一个提振,但对整个行业来说是一个里程碑。同封装光学解决方案自 2000 年以来一直在开发中,但由于技术和制造挑战(如光纤耦合和光源集成)而未进入大规模生产。虽然业界一致认为同封装光学技术是不可避免的,但许多人仍然认为大规模生产的解决方案可能还需要几年时间。然而,在其合作伙伴的协助下,英伟达声称已经克服了这些挑战,并准备从今年晚些时候开始批量生产。英伟达的合作伙伴包括 Browave、Coherent、Corning、Fabrinet、富士康、Lumentum、Senko、SPIL、住友电气、TFC 和台积电。
除了新的网络解决方案外,英伟达还发布了大量其他公告,包括:
英伟达宣布了数据中心 GPU 的未来三代产品 - Blackwell Ultra、Rubin 和 Rubin Ultra
面向 AI 开发者的新型 DGX Spark(前身为 Project Digits)和 DGX Station 系统
Blackwell DGX SuperPOD,一个开箱即用的 AI 工厂
用于开发和最大化智能代理 AI 解决方案的多种新模型/库和软件解决方案
即使有所有这些其他公告,网络仍然是黄仁勋主题演讲和 GTC 连续第二年的亮点。它不仅提高了数据中心的性能效率,还推进了对整个行业至关重要的技术。虽然今天的目标是机架到机架的横向扩展连接,但随着行业推动铜互连的极限,未来可能会针对内部机架纵向扩展网络。
好文章,需要你的鼓励
香港中文大学与华为诺亚方舟实验室合作开发了PreMoe框架,解决了大型混合专家模型(MoE)在内存受限设备上的部署难题。研究团队发现MoE模型中的专家表现出明显的任务专业化特征,据此提出了概率专家精简(PEP)和任务自适应专家检索(TAER)两大核心技术。实验证明,DeepSeek-R1 671B模型在精简50%专家后仍保持97.2%的MATH500准确率,内存需求降至688GB;而更激进的精简方案(减少87.5%专家)也能保持72.0%的准确率。该方法适用于多种MoE架构,为强大AI系统的广泛部署铺平了道路。
SCIENCEBOARD是一项开创性研究,旨在评估多模态自主智能体在真实科学工作流中的表现。研究团队构建了一个包含169个高质量任务的基准测试,涵盖生物化学、天文学等六个科学领域,并开发了一个真实环境让智能体通过CLI或GUI接口与科学软件交互。实验评估表明,即使是最先进的模型在这些复杂科学任务上的成功率也仅为15%,远低于人类表现,揭示了当前技术的局限性并为未来科学智能体的发展提供了宝贵见解。
帝国理工学院的研究团队开发了AlphaMed,这是首个仅通过极简规则强化学习就能培养医疗推理能力的AI模型,无需依赖传统的思维链示范数据。通过分析数据信息丰富度和难度分布的影响,研究发现高信息量的医疗问答数据是推理能力的关键驱动因素。AlphaMed在六个医疗问答基准上取得了领先成绩,甚至超越了更大的封闭源模型,同时展现出自发的步骤推理能力,为医疗AI发展提供了更加开放、高效的新路径。
Alita是一种新型通用AI代理系统,采用极简设计理念,以"最小预定义,最大自我进化"为原则构建。由普林斯顿大学等多家机构研究团队开发的Alita,只配备一个核心能力和少量通用模块,能自主创建所需工具并重用为模型上下文协议(MCPs)。实验显示,Alita在GAIA基准测试上达到87.27%的通过率,超越包括OpenAI Deep Research在内的复杂系统,证明简约设计可带来卓越性能。