NVIDIA 2024年GTC大会核心精华一览：AI 和 GPU 技术的最新发展

引言

精华解读

▍AI的多样化应用

AI 不仅帮助盲人、创造虚拟场景，还在可再生能源、机器人技术和医疗保健等领域发挥重要作用。视频还特别提到了 NVIDIA 在气候科学和自动驾驶汽车方面的 AI 技术，像 Michael Dell 这样的行业领袖也强调了 AI 在塑造未来社会方面的重要性。

▍加速计算正在变革各行业

从生命科学到医疗保健、基因组学、交通、零售、物流到制造业，各个行业都在从加速计算中受益。

计算领域取得的巨大进步表明，如 CUDA 和先进 AI 超级计算机等计算模型持续创新和发展。生成式 AI 的兴起代表了一个以创造全新软件为核心的新兴行业，这是技术发展的一个重大转折点。

• 1964年 - IBM S/360的发布，这是一款早期的商用计算机系统。

• 1995年 - Windows 95和Pentium处理器的发布，代表了个人计算技术的飞跃。

• 2012年 - AlexNet的诞生，被认为是现代深度学习的“第一次接触”。其成功表明深度学习可以在视觉识别任务中取得超越传统方法的性能。

• 2016年 - DGX-1的出现，一款由NVIDIA生产的为深度学习和加速分析而设计的服务器。

• 2017年 - Transformer模型的提出，现代自然语言处理技术至关重要。

• 2022年 - OpenAI ChatGPT的发布，基于Transformer模型的对话型人工智能，可以理解和生成自然语言文本。

这张图片同样显示了AI技术的其他关键组成部分，如“Fine Tuning（微调）”，“Alignment（对齐）”，“Generative AI（生成式AI）”，以及它在新工业革命中的角色。

▍NVIDIA 对加速计算的讨论

▍网降低计算成本，扩大应用规模

随着大型语言模型规模的扩大，计算需求呈指数级增长，因为模型参数数量翻了一番。为了支持数万亿参数的模型训练，需要更大的 GPU，它们要能进行每秒数十亿次的浮点运算。视频强调 GPU 技术开发中的创新与合作，以应对未来的计算挑战。

NVIDIA 开发了 DJX1 芯片，并计划在 2023 年之前构建世界上最大的 AI 超级计算机之一。重点在于构建芯片、系统和网络，以有效地在成千上万的 GPU 之间分配计算任务。视频还强调，未来创新所需的更大型模型需要基于多种数据类型的训练。还讨论了通过视频和语言学习将 AI 模型与物理规律相结合的重要性。

▍高性能的Blackwell 芯片

视频介绍了 Blackwell 芯片，这是一款先进的 GPU，拥有 2080 亿个晶体管。

这款芯片由两个集成模块组成，共同工作，实现每秒 10TB 的数据传输速度。Blackwell 芯片的设计与 Hopper 系统兼容，可实现全球高效部署。尽管最初受到工程师的质疑，但 Blackwell 芯片凭借其雄心勃勃的目标、创新设计和强大功能赢得了赞誉。

新推出的 Hopper 版本适用于 hgx 配置，拥有高性能的原型板。原型板设计先进，具备强大的计算能力和内存一致性。包含用于 CPU 间通信的 MV 链接和 PCI Express。

此外，推出了第二代 Transformer 引擎，用于动态调整数值格式，这对 AI 和复杂数学计算至关重要。

▍新Transformer引擎

新引擎的速度是 Hopper 的两倍，并具备在网络中进行计算的功能，使 GPU 能更高效地协同工作。

all reduce、all to all 和 all gather 是新 Transformer 引擎中的关键同步方法。RAS芯片内置的可靠性引擎可确保每个组件都经过彻底测试，从而最大限度地提高超级计算机的使用效率。

视频还强调了通过在数据传输和存储过程中进行加密来保证 AI 的安全性，防止 AI 参数丢失或被污染。

该系统采用液体冷却，耗电 120 千瓦，运行温度为 45°C。其独特的 MVLink 背板具有每秒 130TB 的传输带宽，相当于整个互联网的总带宽。

视频还提到，GPU 的演变从 35,000 部件发展到了 600,000 部件，重量达到 3,000 磅，堪比碳纤维制造的法拉利。这突出了技术和计算能力的巨大进步。

这两个集群都是基于自主设计并贡献给Open Compute Project (OCP)的Grand Teton开放GPU硬件平台搭建的。Grand Teton将电源、控制、计算和网络接口整合到一个机箱中，提高了整体性能、信号完整性和热性能。

Blackwell 作为技术领域的革命性产品，即将与全球合作伙伴 AWS、Google 和 NVIDIA 共同推出。

▍合作促进发展

Google、GCP、Oracle 和 NVIDIA 合作加速服务和数据库的发展，特别是在数字孪生技术方面。Wistron 作为 NVIDIA 的制造合作伙伴，正在利用定制软件和 Omniverse SDK 构建 NVIDIA 工厂的数字孪生模型。数字孪生技术有助于优化工厂布局、提高工人效率，并确保物理建筑与数字设计方案相匹配，从而降低成本并提高运营效率。使用数字孪生技术，Wistron 实现了布局的快速测试和运营的实时监控，从而显著提高了效率。

NVIDIA 的全球合作伙伴网络正推动以 AI 为驱动的数字化转型。人工智能正在改变制造业，先进行数字产品创造，然后再物理制造。AI 技术的进步，例如在处理效率方面的维度压缩。AI 从简单识别发展到能够理解文本和图像，到支持聊天和内容总结等任务。

NVIDIA 的 Earth 2.0 项目创建了地球的数字孪生模型，能够以高分辨率和高精度预测极端天气事件。

NVIDIA 的 Cordi AI 模型在天气预报方面取得了重大进步，将分辨率从 25 公里提升至 2 公里，同时提高了预测速度和能源效率。这项技术能够提供详细的区域性天气预报，有助于减少严重风暴可能造成的破坏和生命损失。

NVIDIA 在医疗保健领域也取得了显著进展，使用 AI 模型进行医学影像分析、基因测序和计算化学研究。AlphaFold 项目成功数字化并重建了 2 亿种蛋白质结构，颠覆了蛋白质结构预测领域。

NVIDIA 利用 Nemo Nims、AlphaFold 和 diff dock 技术开发了一种新的生成式筛选方法，可以快速识别新药候选物。

这些专业的 Nims 能够在不同领域协作，提供高效解决方案，自动化流程，以提高生产力和创新力。NVIDIA 将 Nims 集成到其业务中，用于创建聊天机器人和简化操作流程，展示了这一概念在现代软件开发中的优势。使用 Nims 可以轻松扩展和优化，成为企业提升软件开发能力的重要工具。

NVIDIA 人工智能铸造厂与 SAP、ServiceNow 和 Cohesity 等公司合作，共同开发 AI 解决方案。

使用 NVIDIA Nemo 和 DGX 云构建辅助驾驶和聊天机器人。与 Snowflake 合作，将数字数据存储在云中并创建辅助驾驶。与 NetApp 和 Dell 合作开发聊天机器人和辅助驾驶，突出了 Dell 在构建大型企业 AI 工厂方面的专长。

人工智能在多个领域广泛应用，从帮助盲人到推动可再生能源和医疗保健的进步。视频还深入讨论了巨型 GPU 的开发、超级计算机的构建，以及加密、数据传输和生成式 AI 在现代计算中的重要性。

同时，也涉及 NVIDIA 与各行业领袖的合作，以及 AI 在制造业、医疗保健和天气预报中带来的革命性改变。软件开发的未来将更加依赖于 AI 界面、聊天机器人和机器人技术，着重强调了在 AI 模型和生成式 AI 能力上的进一步发展。

NVIDIA 对未来的愿景