周三,OpenAI正式发布了其首款自研推理处理器,该芯片由OpenAI与Broadcom合作设计制造,命名为Jalapeno。这款处理器专为OpenAI推理系统的独特需求量身打造,OpenAI表示,公司旗下的AI模型也参与了芯片的研发过程。
目前芯片仍处于测试阶段,但OpenAI称早期测试结果显示,其每瓦性能表现明显优于当前业界最先进的同类产品。
OpenAI与Broadcom的合作关系于去年10月正式对外宣布。此前业界早有传言称OpenAI正谋求研发自有芯片,以降低对英伟达GPU的依赖。谷歌和亚马逊均已推出各自的定制芯片,此类芯片通常被称为"AI加速器",是专为加速机器学习工作负载而设计的专用处理器。
OpenAI总裁格雷格·布罗克曼在Broadcom合作宣布后不久,在公司内部播客中阐述了OpenAI的芯片研发思路。"我们对自身的工作负载有着深入的理解,"布罗克曼表示,"我们一直在寻找那些尚未被充分满足的特定工作负载场景,思考如何打造出能够加速突破边界的产品。"
Jalapeno专为推理任务而设计,即响应用户指令、运行预训练AI模型的过程。在发布公告中,OpenAI重点强调了该芯片在运行实时编程模型时的低运营成本。预训练等计算密集型任务可能仍将依赖英伟达硬件,但即便是推理成本的小幅下降,也将对公司整体盈利能力产生积极影响。
推理系统的优化,有望成为未来AI经济模型中的关键变量,且这一优化将在技术栈的每一个层面上同步推进。OpenAI已在构建Codex等智能体产品及其背后的模型,同时也在建设运行这些模型所需的数据中心。向定制芯片领域的延伸,使公司得以在全栈布局上走得更深。OpenAI在公告中写道:"OpenAI不仅在开发前沿模型,也在其之上构建产品;同时还在设计支撑这一切的底层基础设施,涵盖芯片架构、内核、内存系统、网络、调度、部署系统及产品体验。正因为OpenAI横跨整个技术栈运营,每一层都可以围绕同一目标进行优化:让模型对用户而言更快、更可靠、更实惠。"
Q&A
Q1:OpenAI自研芯片Jalapeno是做什么用的?
A:Jalapeno是OpenAI与Broadcom联合设计制造的推理专用处理器,主要用于响应用户指令、运行预训练AI模型的推理任务。该芯片专为OpenAI推理系统的独特需求设计,早期测试结果显示其每瓦性能明显优于当前业界最先进的同类产品,尤其在运行实时编程模型时具备较低的运营成本。
Q2:OpenAI为什么要自研芯片,不用英伟达GPU了吗?
A:OpenAI研发自有芯片的主要动机是降低对英伟达GPU的依赖,同时通过优化推理成本来改善公司盈利能力。不过,Jalapeno目前专注于推理任务,预训练等计算密集型工作预计仍将继续依赖英伟达硬件。谷歌、亚马逊此前也推出了类似的定制AI加速器芯片,OpenAI此举是向全栈自研基础设施迈出的重要一步。
Q3:OpenAI的全栈基础设施布局包括哪些内容?
A:根据OpenAI官方声明,其全栈基础设施布局涵盖芯片架构、内核、内存系统、网络、调度、部署系统及产品体验等多个层面。除自研芯片外,OpenAI还在构建Codex等智能体产品及其驱动模型,并自建数据中心。OpenAI表示,横跨整个技术栈的运营能力,使每一层都能围绕让模型更快、更可靠、更实惠的目标进行协同优化。
好文章,需要你的鼓励
今天讲的出海案例是依米康,这家数据中心温控与液冷设备厂商正在把泰国纳入海外交付体系,并用生产线、总装车间和焓差实验室承接算力设施订单。
BioMatrix是首个将分子序列、分子三维结构、蛋白质序列、蛋白质三维结构和自然语言统一在单一语言模型中的生物基础模型,在80项任务中77项达到最优或第二优。
美国远程医疗巨头Hims & Hers完成对澳大利亚竞争对手Eucalyptus的收购后,正式进军英国、德国、日本等市场。公司肥胖症业务负责人Craig Primack博士表示,肥胖症是慢性、复发性疾病,需综合治疗方案而非单纯开药。远程医疗能填补NHS等公共医疗体系的服务缺口,为患者提供药物、营养、运动及生活方式的全方位支持,并在GP停诊时提供及时的医疗咨询。
浙江大学提出SKILLHARNESS框架,通过为AI电脑助手的每项技能附加安全边界,从成功、失败和风险三类经历中学习,使AI在动态危险环境中安全高效地完成任务。