AMD推出面向AI推理的PCIe加速卡，兼容现有服务器基础设施

AMD正式发布其Instinct企业级GPU加速器系列的最新产品——MI350，该产品专为适配客户现有数据中心基础设施而设计。

针对智能体AI场景，Instinct MI350P PCIe卡采用双插槽直插式设计，可兼容标准风冷服务器，能够在客户现有数据中心的供电、散热和机架基础设施中直接部署本地推理工作负载。

MI350P是AMD时隔四年首款基于PCIe接口的Instinct加速卡。AMD过去通常以OAM模块形式提供Instinct GPU，每套捆绑八块GPU安装于服务器中。MI350P采用全高全长PCIe卡设计，可安装在任何2U及以上规格的服务器中。这使企业客户可以从单卡起步，逐步探索AI应用，而无需一次性部署AMD传统方案中的八块GPU。

Instinct MI350P PCIe卡支持在风冷系统中最多部署八张加速卡，适用于小型、中型和大型AI模型的推理及RAG流水线工作负载。该卡搭载144GB HBM3E高带宽内存，带宽高达4TB/s。

性能方面，MI350P的估算算力为2,299 TFLOPS，在MXFP4精度下峰值算力可达4,600 TFLOPS。AMD表示，这是目前企业级PCIe卡中可用的最高性能。该卡原生支持低精度MXFP6和MXFP4格式，可实现高吞吐量，并通过稀疏性加速支持大多数主流8位和16位精度计算。

MI350P支持一种称为"稀疏性"的技术，即在数据集和矩阵计算中忽略零值，从而减少处理时间。AMD表示，稀疏性支持使INT8和BF16等高精度格式同样能够实现高效运行。

AMD表示，Instinct MI350P单卡可处理约2000亿至2500亿参数规模的大语言模型，配合每节点最多八块GPU的扩展能力，能够覆盖SLM、MLM、大语言模型推理及RAG等多种工作负载。此外，MI350P完整支持AMD为Instinct和Radeon产品系列提供的ROCm开源软件栈。

目前，AMD尚未公布MI350P的正式上市日期及定价信息。

Q&A

Q1：AMD Instinct MI350P PCIe卡与以往的Instinct GPU有什么不同？

A：MI350P是AMD时隔四年推出的首款PCIe接口Instinct加速卡。此前AMD通常以每套八块GPU的OAM模块形式销售Instinct产品。MI350P采用全高全长PCIe卡设计，可插入任何2U及以上规格服务器，让企业客户无需一次性部署八块GPU，可从单卡开始逐步试用AI推理功能，大幅降低了入门门槛。

Q2：AMD Instinct MI350P的性能表现如何？

A：MI350P估算算力为2,299 TFLOPS，在MXFP4精度下峰值算力可达4,600 TFLOPS，AMD称其为目前企业级PCIe卡中性能最高的产品。该卡搭载144GB HBM3E高带宽内存，带宽高达4TB/s，原生支持MXFP6、MXFP4等低精度格式，并通过稀疏性技术进一步提升INT8和BF16精度下的运行效率。

Q3：AMD Instinct MI350P适合处理多大规模的大语言模型？

A：MI350P单卡可处理约2000亿至2500亿参数规模的大语言模型。在每节点最多部署八块GPU的配置下，可覆盖SLM、MLM、大语言模型推理以及RAG流水线等多种工作负载，适合中小型到大型AI推理场景使用。