Nvidia全面重构数据中心架构迎接AI时代

在GTC大会的主题演讲中，Nvidia CEO黄仁勋回顾经典数据中心时表示："过去数据中心是为文件而建，现在是生产Token的工厂。"

这些老式建筑已经消失，被驱动AI的大型设施所取代。在GTC大会上，Nvidia展示了前瞻性的数据中心架构，包含新的芯片、存储和网络技术。

Nvidia还将目光投向边缘和太空，以提高AI的速度和效率。这种AI驱动的数据中心架构的目标是降低生成Token的成本（Token是AI的货币，描述大语言模型在训练和推理过程中处理的数据单位）。

黄仁勋表示："历史上最大规模的基础设施建设正在进行中。全世界都在竞相构建芯片系统和AI工厂，每延迟一个月就会损失数十亿美元的收入。"

这个集成蓝图包含五个层次：物理基础设施，其次是硅芯片、软件和系统、AI模型以及应用程序。

J. Gold Associates首席分析师Jack Gold表示："Nvidia正在大力推进帮助构建AI数据中心，这至关重要，因为成本和难度正在急剧上升。"

NTT Data全球战略联盟执行董事总经理Sandip Gupta说，Nvidia的数据中心产品现在涵盖了完整的技术栈。"从客户角度来看，如果他们相信集成技术栈，这会让事情变得简单。"

集成数据中心降低了复杂性，并在冷却、网络和存储方面提高了效率。Gupta表示："这取决于企业对单一供应商的依赖程度，还是选择混合搭配的方式。"

随着多智能体系统和OpenClaw等技术的出现，AI复杂性大幅增加。黄仁勋表示，OpenClaw就像HTML和Linux一样重要。这些技术将以前所未有的速度生成Token，同时对网络、内存和存储造成压力。

AI数据具有上下文特性，低效地移动数据会浪费电力和成本。需要新的网络和存储层来智能高效地移动数据。一种称为KV Cache的技术保存了处理智能体AI系统所需的上下文内存。

黄仁勋说："这会对内存造成巨大冲击...对存储系统造成极大压力，这就是我们重新发明存储系统的原因。"

Nvidia的蓝图将数据中心转变为一个巨大的AI GPU。其核心是在GTC大会上发布的Rubin GPU和Vera CPU。Nvidia还推出了新的推理芯片；Groq LPU比GPU具有更高的内存带宽，专为低延迟Token生成而设计。

Nvidia副总裁兼总经理Ian Buck在新闻发布会上表示，新的Vera Rubin NVL72服务器结合了Rubin的极速性能和Groq的内存带宽。

Buck说，AI需要实时访问数据和上下文内存，而传统数据中心缺乏智能体所需的响应能力。

这家GPU制造商将其NVLink互连速度提高了一倍，达到每秒260TB。Nvidia还推出了用于AI原生存储的BlueField-4 STX机架平台，它将GPU内存扩展到整个系统，以提取关键的上下文AI数据。

黄仁勋表示："过去是人类使用存储系统。过去是人类使用SQL。现在AI将使用这些存储系统。"

Nvidia推出了名为Dynamo的软件，它将GPU、LPU、CPU以及内存和存储层作为集成系统进行协调。

黄仁勋还表示，世界首个采用共封装光学器件的Spectrum-X交换机已投入生产。"我们与台积电共同发明了这项工艺技术，"黄仁勋说，并补充道"我们是目前唯一在生产中的公司。"

Q&A

Q1：什么是Token，为什么它对AI数据中心这么重要？

A：Token是AI的货币，描述大语言模型在训练和推理过程中处理的数据单位。现代数据中心已从过去存储文件的地方转变为生产Token的工厂，降低Token生成成本是AI驱动数据中心架构的核心目标。

Q2：Nvidia的新数据中心架构有哪些核心技术？

A：Nvidia的集成蓝图包含五个层次：物理基础设施、硅芯片、软件和系统、AI模型以及应用程序。核心技术包括Rubin GPU、Vera CPU、Groq LPU推理芯片，以及NVLink互连、BlueField-4 STX存储平台和Dynamo协调软件。

Q3：为什么传统数据中心无法满足AI需求？

A：AI需要实时访问数据和上下文内存，而传统数据中心缺乏智能体所需的响应能力。随着多智能体系统和OpenClaw等技术出现，AI将以前所未有的速度生成Token，同时对网络、内存和存储造成巨大压力，需要专门的AI原生架构。