OpenAI与谷歌合作测试TPU芯片但暂无大规模部署计划

分析显示，OpenAI不再局限于微软的基础设施，正在寻求扩展其计算提供商网络，包括甲骨文、CoreWeave，甚至竞争对手谷歌。

尽管OpenAI可能已经在谷歌建立了合作关系，但据路透社报道，这家AI公司近期内不会使用谷歌自研的张量处理单元(TPU)来运行或训练其模型。

在周末发给该媒体的声明中，OpenAI承认正在测试谷歌的TPU，但目前没有大规模部署的计划。

这一否认声明是在《The Information》报道谷歌已说服该模型构建商将工作负载转移到自研加速器几天后发出的。

OpenAI据称采用谷歌TPU技术被许多人视为一个信号，表明这家由萨姆·奥特曼支持的模型构建商不仅希望结束对微软的依赖，还希望减少对英伟达硬件的依赖。

然而，如果你一直在关注，你会知道OpenAI已经在硬件堆栈多样化方面努力了一段时间。该公司可能是从使用英伟达的DGX系统开始的，但这从来不是独家关系。

多年来，该模型构建商的GPT系列在各种硬件上运行。你可能还记得微软让GPT-3.5在其自研的Maia加速器上运行。

微软——直到最近还是OpenAI的主要基础设施提供商——也是最早采用AMD Instinct MI300系列加速器的公司之一，运行GPT-4等模型是其关键用例之一。

AMD的加速器历来提供更高的内存容量和带宽，这可能使它们在模型服务方面比英伟达的GPU更经济。

即使OpenAI与微软的关系有所缓和，AMD仍然是这家新兴AI巨头的关键硬件合作伙伴。上个月，奥特曼在圣何塞举行的AMD AI推进活动上发表演讲，强调了他们的持续合作。

更重要的是，据报道OpenAI正在开发自己的AI芯片，以进一步优化其训练和推理管道的计算、内存、带宽和网络比例。

考虑到这一切，OpenAI测试谷歌自研芯片的想法并不令人意外。搜索引擎的Gemini模型已经证明该架构完全能够进行大规模训练。

谷歌还提供这些加速器的多种不同配置，每种配置都有不同的计算、内存和可扩展性比例，这将为OpenAI提供一定的灵活性，无论他们是需要计算密集型训练作业还是内存带宽受限的推理工作负载。

谷歌第七代Ironwood TPU拥有高达4.6 petaFLOPS的密集FP8性能、192GB高带宽内存(HBM)提供7.4TB/s的带宽，以及1.2TB/s的芯片间带宽，使其与英伟达的Blackwell加速器处于同一水平。

TPUv7有两种配置：256芯片或9,216芯片的集群。据称多个集群可以连接在一起，进一步将计算能力扩展到超过40万个加速器。如果有什么能让萨姆·奥特曼兴奋的话，那就是大量的计算资源。

那么为什么OpenAI决定不使用谷歌的TPU呢？这里可能有几个因素在起作用。可能是性能没有预期的那么好，或者谷歌可能没有足够的TPU来满足OpenAI的需求，或者简单地说每个Token的成本太高。

然而，最明显的答案是OpenAI的软件堆栈在很大程度上已经优化为在GPU上运行。调整这个软件以充分利用谷歌的TPU架构需要时间和额外资源，最终可能不会比坚持使用GPU提供太多切实的好处。

正如人们所说，这山望着那山高。除非你亲自检查，否则永远不会确定知道。