构建任何复杂系统都是其各部分的总和,但最基础的元素是将它们绑定在一起的东西。在砖块中,是砂浆;在木材中,是钉子;而在数据中心中,则是网络。去年,英伟达 CEO 黄仁勋宣称"数据中心是新的计算单元"。这意味着整个数据中心应被视为单一系统,就像芯片系统 (SoC) 或服务器一样。将所有这些独立元素(包括处理、内存和存储)组合到一个平台中,需要一个复杂、高性能、低延迟的网络。
披露:我的公司 Tirias Research 曾为英伟达和本文提到的其他公司提供咨询服务。
2024 年,英伟达推出了新的 Blackwell GB200 GPU AI 加速器,与 Grace CPU 结合在新的 NVL72 机架服务器配置中。虽然 GPU 和机架配置是且仍然是行业领先的解决方案,但真正的明星是 NVLink 交换机,它允许所有 72 个 GPU 互连并作为单一 GPU 运行,本质上是服务器和机架的基础。因为它都在同一个机架中,所以被称为纵向扩展解决方案。2025 年,英伟达正寻求通过新的同封装光学网络解决方案在整个数据中心横向扩展网络。
据英伟达称,它与多家行业合作伙伴合作开发了 Quantum-X InfiniBand 和 Spectrum-X 以太网硅光子网络交换机,在网络模块上采用同封装光学技术。此外,英伟达还推出了三款新的液冷光学网络交换机。由于 AI 数据中心(尤其是 AI 工厂)的高网络需求,光学网络已经很常见。虽然它在性能提升和延迟减少方面提供了显著优势,但在功耗、空间、复杂性和成本方面也带来了代价。据英伟达称,一个 AI 工厂可使用多达 240 万个光学收发器,消耗高达 24MW 的功率,可能占到整个数据中心功耗的 10% 以上。
与传统光学收发器相比,英伟达声称 Spectrum-X 硅光子网络交换机可将激光器数量减少 4 倍,功率效率提高 3.5 倍,信号完整性提高 63 倍,网络弹性提高 10 倍,网络部署时间缩短 1.3 倍。这些改进对于满足智能代理 AI 的需求至关重要,智能代理 AI 可能需要比分布在数据中心资源上的生成式 AI 工作负载多出数百倍的资源。英伟达新的网络解决方案将使数据中心能够继续随着 AI 需求的增长而扩展。
虽然这一公告对英伟达是一个提振,但对整个行业来说是一个里程碑。同封装光学解决方案自 2000 年以来一直在开发中,但由于技术和制造挑战(如光纤耦合和光源集成)而未进入大规模生产。虽然业界一致认为同封装光学技术是不可避免的,但许多人仍然认为大规模生产的解决方案可能还需要几年时间。然而,在其合作伙伴的协助下,英伟达声称已经克服了这些挑战,并准备从今年晚些时候开始批量生产。英伟达的合作伙伴包括 Browave、Coherent、Corning、Fabrinet、富士康、Lumentum、Senko、SPIL、住友电气、TFC 和台积电。
除了新的网络解决方案外,英伟达还发布了大量其他公告,包括:
英伟达宣布了数据中心 GPU 的未来三代产品 - Blackwell Ultra、Rubin 和 Rubin Ultra
面向 AI 开发者的新型 DGX Spark(前身为 Project Digits)和 DGX Station 系统
Blackwell DGX SuperPOD,一个开箱即用的 AI 工厂
用于开发和最大化智能代理 AI 解决方案的多种新模型/库和软件解决方案
即使有所有这些其他公告,网络仍然是黄仁勋主题演讲和 GTC 连续第二年的亮点。它不仅提高了数据中心的性能效率,还推进了对整个行业至关重要的技术。虽然今天的目标是机架到机架的横向扩展连接,但随着行业推动铜互连的极限,未来可能会针对内部机架纵向扩展网络。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。