AWS推出主权AI本地部署方案及新一代AI加速器

亚马逊云科技今日发布了一系列人工智能基础设施产品，涵盖主权本地部署、下一代定制AI加速器以及AWS上最先进的英伟达GPU实例，旨在主导云端和私有大规模AI市场。

此次发布包括AWS AI工厂的推出、搭载全新Trainium3芯片的Amazon EC2 Trn3 UltraServers正式上线，以及配备英伟达最新基于Blackwell架构GB300 NVL72平台的P6e-GB300 UltraServers。

AWS AI工厂

AWS AI工厂是此次发布的重点产品，这一全新服务将专用的全栈AWS AI基础设施直接部署到客户现有的数据中心内。

该平台整合了英伟达加速计算、AWS Trainium芯片、高速低延迟网络、节能基础设施以及核心AWS AI服务，包括Amazon Bedrock和Amazon SageMaker。

AWS AI工厂主要面向政府和受监管行业构建，运行方式类似私有AWS区域，在确保严格数据主权和监管合规的同时，提供安全、低延迟的计算、存储和AI服务访问。通过这一产品，客户可以利用自己的设施、电力和网络连接，而AWS负责部署、运营和生命周期管理。AWS表示，这一方案将原本需要数年的部署时间大幅缩短。

作为AI工厂发布的一部分，AWS还强调了与英伟达在该平台上的深度合作，包括对Grace Blackwell和未来Vera Rubin GPU架构的支持，以及Trainium4对英伟达NVLink Fusion互连的未来支持。

英伟达超大规模和高性能计算副总裁兼总经理Ian Buck表示："大规模AI需要全栈方法——从先进GPU和网络到优化数据中心每一层的软件和服务。我们与AWS合作，将所有这些直接交付到客户环境中。"

Trainium3 UltraServers

AWS还宣布搭载全新三纳米Trainium3 AI芯片的Amazon EC2 Trn3 UltraServers正式上线。

Trn3系统可在单个UltraServer中扩展至144个Trainium3芯片，相比Trainium2提供高达4.4倍的计算性能、4倍的能效以及近4倍的内存带宽。

这些UltraServers专为下一代工作负载设计，如智能体AI、专家混合模型和大规模强化学习，配备AWS工程化网络，实现低于10微秒的芯片间延迟。

在使用OpenAI开源权重模型GPT-OSS的测试中，AWS客户相比上一代产品实现了每芯片3倍的吞吐量提升和4倍的推理响应速度。包括Anthropic、Karakuri、Metagenomi、Neto.ai、理光和Splash Music在内的客户已报告训练和推理成本降低高达50%。

AWS还预览了Trainium4，预计将在FP4和FP8性能以及内存带宽方面实现重大提升。

英伟达GB300

在AI基础设施发布中，AWS推出了全新的P6e-GB300 UltraServers，配备英伟达GB300 NVL72平台，成为Amazon EC2上最先进的英伟达GPU架构。

这些实例在AWS上提供最高的GPU内存和计算密度，面向万亿参数AI推理和生产环境中的高级推理模型。

P6e-GB300系统运行在AWS Nitro系统上，与Amazon Elastic Kubernetes Service等服务紧密集成，使客户能够安全高效地部署大规模推理工作负载。

Q&A

Q1：AWS AI工厂是什么？主要面向哪些客户？

A：AWS AI工厂是亚马逊云科技推出的全新服务，将专用的全栈AWS AI基础设施直接部署到客户现有数据中心内。主要面向政府和受监管行业，运行方式类似私有AWS区域，在确保数据主权和监管合规的同时提供AI服务。

Q2：Trainium3相比上一代有什么提升？

A：Trainium3采用三纳米工艺，相比Trainium2提供高达4.4倍的计算性能、4倍的能效以及近4倍的内存带宽。在测试中，客户实现了每芯片3倍的吞吐量提升和4倍的推理响应速度，训练和推理成本降低高达50%。

Q3：P6e-GB300 UltraServers有什么特点？

A：P6e-GB300 UltraServers配备英伟达最新的GB300 NVL72平台，是Amazon EC2上最先进的英伟达GPU架构。提供AWS上最高的GPU内存和计算密度，专门面向万亿参数AI推理和生产环境中的高级推理模型。