构建任何复杂系统都是其各部分的总和,但最基础的元素是将它们绑定在一起的东西。在砖块中,是砂浆;在木材中,是钉子;而在数据中心中,则是网络。去年,英伟达 CEO 黄仁勋宣称"数据中心是新的计算单元"。这意味着整个数据中心应被视为单一系统,就像芯片系统 (SoC) 或服务器一样。将所有这些独立元素(包括处理、内存和存储)组合到一个平台中,需要一个复杂、高性能、低延迟的网络。
披露:我的公司 Tirias Research 曾为英伟达和本文提到的其他公司提供咨询服务。
2024 年,英伟达推出了新的 Blackwell GB200 GPU AI 加速器,与 Grace CPU 结合在新的 NVL72 机架服务器配置中。虽然 GPU 和机架配置是且仍然是行业领先的解决方案,但真正的明星是 NVLink 交换机,它允许所有 72 个 GPU 互连并作为单一 GPU 运行,本质上是服务器和机架的基础。因为它都在同一个机架中,所以被称为纵向扩展解决方案。2025 年,英伟达正寻求通过新的同封装光学网络解决方案在整个数据中心横向扩展网络。
据英伟达称,它与多家行业合作伙伴合作开发了 Quantum-X InfiniBand 和 Spectrum-X 以太网硅光子网络交换机,在网络模块上采用同封装光学技术。此外,英伟达还推出了三款新的液冷光学网络交换机。由于 AI 数据中心(尤其是 AI 工厂)的高网络需求,光学网络已经很常见。虽然它在性能提升和延迟减少方面提供了显著优势,但在功耗、空间、复杂性和成本方面也带来了代价。据英伟达称,一个 AI 工厂可使用多达 240 万个光学收发器,消耗高达 24MW 的功率,可能占到整个数据中心功耗的 10% 以上。
与传统光学收发器相比,英伟达声称 Spectrum-X 硅光子网络交换机可将激光器数量减少 4 倍,功率效率提高 3.5 倍,信号完整性提高 63 倍,网络弹性提高 10 倍,网络部署时间缩短 1.3 倍。这些改进对于满足智能代理 AI 的需求至关重要,智能代理 AI 可能需要比分布在数据中心资源上的生成式 AI 工作负载多出数百倍的资源。英伟达新的网络解决方案将使数据中心能够继续随着 AI 需求的增长而扩展。
虽然这一公告对英伟达是一个提振,但对整个行业来说是一个里程碑。同封装光学解决方案自 2000 年以来一直在开发中,但由于技术和制造挑战(如光纤耦合和光源集成)而未进入大规模生产。虽然业界一致认为同封装光学技术是不可避免的,但许多人仍然认为大规模生产的解决方案可能还需要几年时间。然而,在其合作伙伴的协助下,英伟达声称已经克服了这些挑战,并准备从今年晚些时候开始批量生产。英伟达的合作伙伴包括 Browave、Coherent、Corning、Fabrinet、富士康、Lumentum、Senko、SPIL、住友电气、TFC 和台积电。
除了新的网络解决方案外,英伟达还发布了大量其他公告,包括:
英伟达宣布了数据中心 GPU 的未来三代产品 - Blackwell Ultra、Rubin 和 Rubin Ultra
面向 AI 开发者的新型 DGX Spark(前身为 Project Digits)和 DGX Station 系统
Blackwell DGX SuperPOD,一个开箱即用的 AI 工厂
用于开发和最大化智能代理 AI 解决方案的多种新模型/库和软件解决方案
即使有所有这些其他公告,网络仍然是黄仁勋主题演讲和 GTC 连续第二年的亮点。它不仅提高了数据中心的性能效率,还推进了对整个行业至关重要的技术。虽然今天的目标是机架到机架的横向扩展连接,但随着行业推动铜互连的极限,未来可能会针对内部机架纵向扩展网络。
好文章,需要你的鼓励
英特尔CEO陈立武警告,除非有"重要外部客户"保证利润,否则可能停止14A半导体制程投资。他表示,英特尔18A前的制程可仅靠自有产品获得合理回报,但14A制程的资本成本增加,需要外部客户才能实现可接受回报。如果实施这一决定,可能意味着英特尔无法继续遵循摩尔定律,这对半导体行业将产生深远影响。
斯坦福大学NLP研究小组发布了全新的2024版GloVe词向量,这是对2014年原版的重大升级。新版本使用维基百科、Gigaword新闻数据和Dolma语料库进行训练,新增超过70万词汇,涵盖疫情、科技、网络文化等现代概念。测试显示新版本在处理当代文本、非西方人名地名和社交媒体内容方面表现显著优于旧版本,为自然语言处理应用提供了更准确的语言理解工具。
Dispo社交网络和约会应用Teaser AI联合创始人Daniel Liss创立了钢铁制造公司Nemo Industries。该公司计划利用AI技术优化生铁生产,并自建熔炉设施。Liss认为从创立之初就使用AI的公司将比竞争对手拥有20%-30%的利润优势。公司此前已融资2820万美元,目前正与现有投资者洽谈1亿美元A轮融资,并获得两个南方州超过10亿美元的激励措施承诺。
TeleAI团队发布TeleChat2、TeleChat2.5和T1三款大语言模型的技术报告,详述了从10万亿tokens预训练到强化学习优化的完整开发过程。T1-115B在数学推理上超越OpenAI o1-mini,展现了国产AI模型的技术突破。研究采用4D并行训练策略,在8000个华为昇腾NPU上完成训练,并全面开源以促进AI技术发展。