AMD希望通过其开放软件生态系统赢得亚太地区人工智能开发者的青睐,帮助该地区在全球舞台上竞争,而无需依赖专有的AI开发工具。
尽管这家美国芯片制造商在硬件方面已经取得了进展,推出了Instinct数据中心图形处理单元和Ryzen处理器,但AMD的软件层——特别是ROCm平台——对于为更广泛的市场释放这种性能至关重要。
但AMD并没有构建一个技术被单一实体控制的封闭花园,而是选择了ROCm的开源路线,它与vLLM等其他开源项目集成,以实现更快的创新。
在此过程中,它希望打破封闭源码软件环境的控制,特别是英伟达的Cuda,后者被用于构建在GPU上运行的AI应用程序。
"我们可以尝试构建封闭源码的东西,但我们不会获得开放生态系统的速度,"AMD AI软件副总裁Anush Elangovan说。"相反,我们希望利用每个人的能力来推动行业向前发展。这就像Linux内核,每个人都在协作并且发展得非常快。"
Elangovan指出,AMD软件栈的开放性质对亚太地区市场特别有益,因为它提供了一个"共同基线",让公司能够建立自己的AI能力。
"我参与了该地区不少正在建设大型数据中心并大规模部署AMD芯片的公司,"他说,并补充说ROCm还将允许他们在模型开发和基础设施方面进行竞争。
该公司还启动了"ROCm everywhere"倡议,为开发者统一体验,无论他们是在笔记本电脑上工作还是在大型超级计算机上工作。这使得该地区的学生和初创公司能够从可负担的硬件开始小规模起步,并根据需要扩大规模。
这种可扩展性得到了AMD芯片架构的支持,Elangovan声称这在推理工作负载中提供了明显的优势,推理是通过训练好的模型运行实时数据的过程。
他指出,AMD的芯片设计具有高内存带宽,使它们能够在单个系统上处理非常大的AI模型。这种效率可以减少对液体冷却系统的需求,而液体冷却系统在老旧设施中改装成本高昂。
"你可以选择稍微低一点的密度,这样你就可以使用风冷基础设施而不是液冷基础设施,然后仍然获得顶级的能力,"他解释说。
在工作负载方面,Elangovan说除了大语言模型之外,组织还在运行更多的文本到图像和文本到视频工作负载。他以Luma Labs为例,指出他们的Ray3视频生成模型"完全在AMD平台上训练和服务"。
即使AMD继续迭代ROCm——第7版支持新的MI350芯片——Elangovan说开发者不应该仅仅将AMD视为硬件供应商。
"AMD越来越像一家软件公司一样构建和交付软件,"他说。"你应该把我们看作是开发者可以信任并在其上构建的软件平台,一个将比硬件世代更长久的平台。"
Q&A
Q1:ROCm平台是什么?它有什么特点?
A:ROCm是AMD的开源软件平台,它与vLLM等其他开源项目集成,为AI开发提供开放的生态系统。与英伟达的封闭源码Cuda不同,ROCm采用开源路线,能够实现更快的创新速度。
Q2:AMD如何帮助亚太地区发展AI能力?
A:AMD通过开放的软件栈为亚太地区提供"共同基线",让公司能够建立自己的AI能力。通过"ROCm everywhere"倡议,该地区的学生和初创公司可以从可负担的硬件开始,然后根据需要扩大规模。
Q3:AMD芯片在AI推理方面有什么优势?
A:AMD芯片采用芯片架构,具有高内存带宽,能够在单个系统上处理非常大的AI模型。这种效率可以减少对昂贵液体冷却系统的需求,使用风冷基础设施就能获得顶级性能。
好文章,需要你的鼓励
随着沃尔玛电商部门年化GMV突破1000亿美元,AI驱动的商务正在加速发展。Onton获得由Footwork领投的种子轮融资,定位为电商决策的起点。该平台通过神经符号引擎解决传统电商搜索痛点,在家居装饰领域快速扩张,月活用户从5万增长至100万。沃尔玛和好市多等零售巨头已在运用AI重塑购物体验,消费者期望正在发生根本性转变。
中科大联合快手等机构推出VR-Thinker技术,首次实现AI视频评判员的"边看边想"能力。该系统通过主动选择关键画面、智能记忆管理和三阶段训练,在视频质量评估准确率上达到75%-82%,特别擅长处理长视频场景,为AI视频生成的质量控制提供了突破性解决方案。
卫星连接领域领军企业星链与BICS达成战略合作,指定Proximus Global为其在欧洲直连手机卫星服务的首选IPX提供商。该合作将使星链利用现有IPX网络连接移动运营商,并为能够向智能手机提供宽带服务的下一代网络铺平道路。星链直连手机服务拥有超过650颗低轨卫星,可在移动信号盲区提供数据、语音、视频和消息服务,连接五大洲超800万用户。
微软研究院发布BitDistill技术,通过三阶段优化将大型语言模型压缩至1.58位精度,在保持性能的同时实现10倍内存节省和2.65倍速度提升。该技术包括模型结构稳定化、持续预训练适应和知识蒸馏传承三个关键步骤,解决了模型量化中的性能衰减和规模化问题,为AI模型在资源受限设备上的高效部署提供了新方案。