MLPerf Llama大模型推理测试：一款GPU独战NVIDIA群雄

目录

- ML Commons的MLPerf基准测试：Llama-2-70b

- 8x GPU：MI300X与H100-SXM旗鼓相当

- 多GPU线性扩展评估、B100单卡表现优异

- Tensor并行多卡NVLINK vs. PCIe效率

- 选型参考：显存带宽是Token/s输出唯一决定因素吗？

- 硬件参数、卡间互连与软件发挥

ML Commons的MLPerf基准测试：Llama-2-70b

最近看到国外网站讨论NVIDIA和AMD数据中心GPU的实际性能，我也想给大家分享点测试对比信息——来自第三方联盟组织ML Commons推出的MLPerf Inference: Datacenter基准测试。

ML Commons有点像AI行业的spec.org。上图为组织的发起人成员，我看到除了Intel、AMD、NVIDIA等国外巨头之外，也包含有国内的公司阿里巴巴、华为、浪潮、宁畅、OPPO。显然，大家应该都是不希望在业内公认的基准测试中掉队，特别是AI这个如今火热的领域。

上图是更多成员，我又看到了H3C、联想，以及几大服务器ODM厂商。包含的成员覆盖全面，通常推出的测试程序标准就比较公平，网站上公布的测试结果用来横向对比的参考价值也比较大。

本次解读MLPerf BenchMark中的项目，是使用Llama-2-70b大语言模型进行的推理测试。如下图：在最新的v4.1版本已公布结果中，只有除了各种型号的NVIDIA GPU之外，只有一款AMD Instinct MI300X。严格地说，在较早的v4.0测试中出现了Intel Gaudi 2的身影，但其性能水平应该与最新的Gaudi 3有些差距。所以本文不想引入更多分支剧情，专注于当前的MLPerf Inference: Datacenter v4.1。

本文测试数据引用自https://mlcommons.org/benchmarks/inference-datacenter，上面只是部分截图。

与大模型推理测试结果直接相关的，就是GPU的型号和数量。除此之外，我们还能看到更多信息，比如使用的服务器型号、CPU，以及软件平台环境等。参考上面截图，实际上NVIDIA GPU在Llama-2-70b测试中基本都是用CUDA+TensorRT；而AMD则是ROCm+PyTorch+vLLM。PYTorch的流行度不用我说了吧，TensorRT可以理解为NVIDIA进一步加速的框架；vLLM如今的评价也是挺高的。

上图中的测试结果处，可以看到llama2-70b-99和llama2-70b-99.9两栏，而它们之间的Tokens/s数值又完全相同。我觉得这是一个有点容易让人混淆之处，具体区别指的什么呢？

参考上面图表，Llama2测试中的99%和99.9%似乎指的是FP32所占的比重？但事实上推理计算通常不需要这么高精度的模型——另外载入显存的数据量也太大了。下表只是个简单的参考，KV Cache部分与上下文长度相关，就不展开讨论了。

MLPerf Llama-2-70b推理测试实际上是用的FP8量化模型，下文中有我发现的证据。

在MLPerf Llama-2-70b推理测试结果中还分为Offline和Server两项，参考介绍如下：

Server：LoadGen 在启动时会在单个查询中将所有样本发送到被测系统（SUT）。

Offline：一旦被测系统（SUT）完成上一个查询，Loadgen 就会发送下一个查询。

可以理解为Server是模拟服务器在响应查询请求，而Offline则是离线生成最大的压力，应该能把GPU跑得更满一点吧。

8x GPU：AMD MI300X与NVIDIA H100-SXM旗鼓相当

首先我特别挑选出8x GPU（单机8卡）的测试结果，对于相同GPU型号和数量的多个测试结果，挑成绩最高的进行对比。另外对于70b这种尺寸的模型和数据中心GPU配置，单节点服务器就能容纳全部推理数据到显存，多节点的结果参考意义不大（类似于只是跑个多副本）。

在SXM/OAM GPU模组的比较中，8个AMD MI300X的Token/s测试数据与8个NVIDIA H100-SXM-80GB相当接近；8个H200-SXM-141GB则表现最好，还要领先40%左右。

与上面的3款GPU相比，8卡H100-NVL-94GB（4组双卡NVLINK）、H100-PCIe-80GB和L40S-48GB的性能差距依次都比较大。其原因我在下文中会具体分析。

注意：Dell XE9680服务器其实也是双CPU配置（2颗40核），8x SXM GPU的平台基本上都要服务器2 Socket插满吧。

仅以上图表为例，不同测试平台对MLPerf Llama-2-70b推理测试的结果影响不算太大，但还是有一些。同样是8个MI300X GPU，Token/s性能从低到高的3款服务器CPU分别为Xeon 8460Y+、EPYC 9374F和EPYC Turin（最新的9005系列，由于是preview结果没有写CPU核数），它们最大差距达到10%左右。

上图引用自AMD在10月10日发布会上的资料，我在《AMD EPYC 9005 (Zen 5&5c) 服务器CPU架构解读》曾经引用过一部分，今天再看下GPU相关的。

之前AMD官宣这个MI300X能达到H100最多1.3倍的性能，我个人猜测会不会统一使用PyTorch测试的？当然我并不了解更多的细节信息，所以只是一个猜测。

至于H200，AMD之前是拿MI325X来进行对比的。

Instinct MI325X GPU是在2024 Q4正式出货的，也许我们在下个季度能看到它出现在MLPerf的榜单中？

多GPU线性扩展评估、B100单卡表现优异

下面我将列出完整的测试图表，除了8 GPU之外，还有那些“单卡”、“4卡”的，其中包括有NVIDIA GH200 Grace Hopper Superchip以及NVIDIA B200-SXM-180GB。

从这里我们可以评估GPU的线性扩展效果。比如8个MI300X推理Token确实达到了单GPU的8倍；H200也是类似的情况。前面我说过MLPerf是测试的Llama-2-70b FP8量化模型推理，所以像L40S 4/8 GPU测试也能达到翻倍的结果，因为基本不需要跨两组“4卡”交互数据。

NVIDIA B200-SXM-180GB单GPU的数据确实优异，一块差不多能顶4个H100-SXM-80GB了。目前这个测试成绩还是preview状态，估计早晚NVIDIA会公布Blackwell架构多GPU的BenchMark结果。

Tensor并行多卡NVLINK vs. PCIe效率

上面这个图表，看起来还是有点让人感觉复杂。为了进一步方便分析，我还想把算力折算到每个GPU来看看。在此之前，有必要先跟大家分享个重要的信息，也算是我从测试代码中发现的吧。

--qformat fp8及右边的输出目录，是把Llama-2-70b量化到FP8的操作。

90GB VMEM就是进行这个测试的门槛需求，也就是说显存达到90GB就可以跑tensor并行度1；而像H100 80GB这样的需要跑tensor并行度2；48GB的L40S则需要—tp_size=4参数。

在有NVLINK或者AMD Infinity Fabric这类高速专用互连的情况下，跨卡的显存数据访问影响应该不大？而通过PCIe插槽的多卡tensor并行，理论上效率就要低一些了。

选型参考：显存带宽是Token/s输出唯一决定因素吗？

记得我在《LLM大模型推理测试 & AI PC选型指南 (1)》中讨论过端侧推理，Torken生成速度的决定因素经常是显存（内存）带宽，但也可能有由于算力、I/O因素受影响的情况。

折线上的数值为GPU内存带宽，单位TB/s

如上面图表，右边是4款96GB及以上显存的GPU；左边较低显存的是通过多卡测试成绩折算出来的“单GPU贡献”。（注：不代表单卡显存低于90GB就能把这个测试跑起来。）

B200是单位显存带宽Token性能发挥最好的，这一块NV目前的优势大家也不得不承认。

H100-SXM-80GB、H200-SXM-141GB、GH200 96GB、GH200 144GB这4款GPU的Token性能基本上与显存带宽成正比关系。Grace Hopper Superchip架构的效率相对要低一点，可能与其Arm CPU有关。

而PCIe形态的H100、L40S GPU，其单位显存带宽能发挥出的推理性能，就要差一些了。这应该与tensor并行的跨卡显存访问瓶颈有关。只是我没想明白的是：H100-NVL-94GB——按道理超过90GB只要tensor parallelism=1就好了，即使走双卡NVLINK互连的效率也不错啊？

硬件参数、卡间互连及软件发挥

注：GH200 Superchip的1000W功耗中，还包含了72核Arm CPU，GPU部分大约也是700W左右吧。

只好再看看GPU内存带宽之外的规格参数了。上表中我还列出了每款GPU的标称FP8浮点算力，以及TDP功耗。

H100-SXM、H200-SXM和GH200的计算性能是一样的，前面我们看到，它们的测试表现主要受显存带宽影响。PCIe接口的H100，受限于350-400W的功耗，FP8算力要低一些。H100的PCIe介面是PCIe 5.0 x16；而L40S则是PCIe 4.0 x16（还要跨4卡tensor parallelism），推理效率再低一些也是可以理解的。

根据L40S的表现，您是否也能大致推算出NVIDIA RTX 6000/5880 Ada，以及GeForce RTX 4090 (D)的推理性能？还记得我去年讨论“GPU禁令限制计算 & NVIDIA A800/H800/L40等替代分析” 时总结的表格吗？当然4090的显存只有24GB。像AMD MI300这样把显存做大还是有意义的，比如实际跑130B左右模型的8bit量化推理，加上KV Cache占用单卡14x GB显存就不见得能放下了。

上面为网传图片，仅供参考

这里我想低调提一下H20，由于显存带宽和卡间互连不在禁售的限制中，所以有人说它的推理性能与H100和H800没有明显差距。类似情况应该还有AMD MI308X。

本文中没有讨论训练，及其相关的多卡互连效率——这个因素在AI大模型训练应用中的影响应该更明显。

在本月初的文章中，我曾列出过HGX H20-SXM（H100/200外观形态一样的）以及MI300X-OAM的8 CPU模组照片。上图是AMD Instinct MI325X平台。

关于AMD，一方面我看到MI300X在700-750W的功率水平上，提供了更高的显存带宽和算力指标。但今天似乎还没完全充分发挥出来？估计是ROCm等软件生态上与NVIDIA还有一定差距。所以留给AMD的任务不只是加强GPU的硬件能力——之前公布的roadmap中，2025年将推出MI350系列（包括MI355X），2026年是MI400系列…

根据AMD列出的数字，从ROCm版本6.0到6.2，AI推理性能已经有很大提高。我也期待看到ROCm 6.2以及更新版本的实测表现。

扩展阅读：《企业存储技术》文章分类索引更新（微信公众号合集标签）