在AWS re:Invent大会上,NVIDIA与亚马逊云服务扩展了战略合作关系,在互连技术、云基础设施、开放模型和物理AI方面推出新的技术集成。
AWS将支持NVIDIA NVLink Fusion平台
作为合作扩展的一部分,AWS将支持NVIDIA NVLink Fusion——一个用于定制AI基础设施的平台,用于部署其定制设计的芯片,包括用于推理和智能体AI模型训练的下一代Trainium4芯片、适用于广泛工作负载的Graviton CPU以及Nitro系统虚拟化基础设施。
通过使用NVIDIA NVLink Fusion,AWS将把NVIDIA NVLink扩展互连和NVIDIA MGX机架架构与AWS定制芯片相结合,以提高性能并加快其下一代云规模AI能力的上市时间。
AWS正在设计Trainium4与NVLink和NVIDIA MGX集成,这是NVIDIA与AWS在NVLink Fusion方面多代合作的第一步。AWS已经大规模部署了配备NVIDIA GPU的MGX机架。集成NVLink Fusion将使AWS能够进一步简化其平台的部署和系统管理。
NVIDIA首席执行官黄仁勋表示:"GPU计算需求正在飞速增长——更多计算带来更智能的AI,更智能的AI推动更广泛的使用,更广泛的使用创造对更多计算的需求。AI的良性循环已经到来。"
AWS首席执行官Matt Garman表示:"AWS和NVIDIA已经并肩工作了15年多,今天标志着这一旅程的新里程碑。通过与NVIDIA的合作,我们正在推进大规模AI基础设施,为客户提供最高的性能、效率和可扩展性。"
新GPU架构支持与AI工厂服务
AWS通过NVIDIA Blackwell架构扩展了其加速计算产品组合,包括NVIDIA HGX B300和NVIDIA GB300 NVL72 GPU,为客户提供业界最先进GPU的即时访问,用于训练和推理。专为视觉应用设计的NVIDIA RTX PRO 6000 Blackwell服务器版GPU预计将在未来几周内在AWS上推出。
这些GPU构成了支持AWS AI工厂的AWS基础设施骨干。AWS AI工厂是一项新的AI云服务,将为全球客户提供在自己数据中心利用先进AI服务和能力所需的专用基础设施,由AWS运营,同时让客户保持对数据的控制并符合当地法规。
NVIDIA和AWS承诺在全球部署主权AI云,将最佳AI创新带给世界。通过推出AWS AI工厂,两家公司正在提供安全的主权AI基础设施,为全球组织提供前所未有的计算能力,同时满足日益严格的主权AI要求。
开放模型集成与向量搜索优化
在硬件之外,合作还扩展了NVIDIA软件栈与AWS AI生态系统的集成。NVIDIA Nemotron开放模型现已与Amazon Bedrock集成,使客户能够构建生产规模的生成式AI应用程序和智能体。开发者可以访问Nemotron Nano 2和Nemotron Nano 2 VL,构建处理文本、代码、图像和视频的专业智能体AI应用程序,具有高效率和准确性。
NVIDIA和AWS还在软件层面共同工程化,以加速每个企业的数据骨干。Amazon OpenSearch Service现在提供由NVIDIA cuVS支持的无服务器GPU加速向量索引构建。这一里程碑代表了使用GPU进行非结构化数据处理的根本转变,早期采用者看到向量索引速度提高了10倍,成本降低了四分之三。
物理AI与机器人技术发展
开发物理AI需要用于训练机器人模型的高质量和多样化数据集,以及在真实世界部署前在仿真中测试和验证的框架。
NVIDIA Cosmos世界基础模型现在作为NVIDIA NIM微服务在Amazon EKS上提供,支持实时机器人控制和仿真工作负载,具有无缝可靠性和云原生效率。对于批处理任务和离线工作负载,如大规模合成数据生成,Cosmos世界基础模型也可在AWS Batch上作为容器使用。
包括Agility Robotics、Agile Robots、ANYbotics、Diligent Robotics等领先机器人公司正在使用NVIDIA Isaac平台与AWS,应用场景从收集、存储和处理机器人生成的数据到训练和仿真,以扩大机器人开发规模。
NVIDIA获得了AWS全球生成式AI基础设施和数据年度合作伙伴奖,该奖项表彰具有生成式AI能力认证的顶级技术合作伙伴,支持向量嵌入、数据存储和管理或多种类型和格式的合成数据生成。
Q&A
Q1:NVIDIA NVLink Fusion是什么?它有什么作用?
A:NVIDIA NVLink Fusion是一个用于定制AI基础设施的平台。AWS将通过它部署定制设计的芯片,包括下一代Trainium4芯片、Graviton CPU和Nitro系统。它能将NVIDIA NVLink扩展互连和MGX机架架构与AWS定制芯片结合,提高性能并加快下一代云规模AI能力的上市时间。
Q2:AWS AI工厂能为企业提供什么服务?
A:AWS AI工厂是新的AI云服务,为全球客户提供在自己数据中心利用先进AI服务和能力所需的专用基础设施,由AWS运营。企业可以访问先进AI服务和能力,训练和部署大规模模型,同时保持对专有数据的绝对控制并完全符合当地监管框架。
Q3:Amazon OpenSearch Service的GPU加速有什么优势?
A:Amazon OpenSearch Service现在提供由NVIDIA cuVS支持的无服务器GPU加速向量索引构建。这代表了使用GPU进行非结构化数据处理的根本转变,早期采用者看到向量索引速度提高了10倍,成本降低了四分之三,减少搜索延迟,加速写入,并为检索增强生成等动态AI技术提供更快的生产力。
好文章,需要你的鼓励
市场研究公司Klue本月初遭黑客入侵,大量客户数据被窃。Klue表示正与黑客组织Icarus沟通,并相信对方正在删除所盗数据。受影响客户包括Gong、LastPass、HackerOne等多家知名企业。然而事态趋于复杂——另一黑客团伙声称从Icarus处获取了Klue客户数据,并向客户发出勒索威胁。Klue提醒客户勿向第二方支付赎金,并建议索取数据样本以核实其真实性。
KAIST等机构提出3D HAMSTER,通过为视觉语言模型加入深度编码器和几何重建损失,让机器人规划器直接输出三维轨迹,解决了分层机器人系统中规划与执行的维度不匹配问题,显著提升了操作鲁棒性。
苹果公司对OpenAI提起诉讼,指控其窃取商业机密。据披露,前苹果系统电气工程师刘畅(Chang Liu)在离职加入OpenAI后,利用一个此前未知的身份验证零日漏洞,持续数周从苹果内部网络存储中下载大量机密文件,内容涵盖未发布产品信息、工程演示文稿及技术规格等。苹果已修复该漏洞并终止相关访问权限。此案已提交加州北区联邦法院,并要求陪审团审判。
南京大学提出Light-Omni框架,通过全局状态与潜在状态双机制,让AI视频助理无需反复推理即可实现精准记忆检索,速度提升逾12倍,准确率同步提高。