OpenAI周二宣布推出两款开放权重的AI推理模型,具备与其o系列模型相似的能力。该公司表示,这两款模型均可从在线开发者平台Hugging Face免费下载,并称这些模型在多个开放模型比较基准测试中表现"最先进"。
这两款模型有两种规格:功能更强大的gpt-oss-120b模型可在单个英伟达GPU上运行,而轻量级的gpt-oss-20b模型可在配备16GB内存的消费级笔记本电脑上运行。
此次发布标志着OpenAI自五年多前发布GPT-2以来的首个"开放"语言模型。
在发布会上,OpenAI表示其开放模型将能够向云端AI模型发送复杂查询。这意味着如果OpenAI的开放模型无法处理某些任务(如图像处理),开发者可以将开放模型连接到该公司功能更强大的封闭模型。
虽然OpenAI在早期曾开源AI模型,但该公司通常倾向于专有的封闭源代码开发方式。后一种策略帮助OpenAI建立了通过API向企业和开发者销售AI模型访问权限的大型业务。
然而,CEO萨姆·奥特曼在1月份表示,他认为OpenAI在开源技术方面一直"站在历史的错误一边"。该公司目前面临来自中国AI实验室的日益增长的压力,包括DeepSeek、阿里巴巴的Qwen和月之暗面AI,这些实验室已开发出世界上一些最强大和最受欢迎的开放模型。
7月,特朗普政府还敦促美国AI开发者开源更多技术,以促进符合美国价值观的AI在全球范围内的采用。
通过发布gpt-oss,OpenAI希望赢得开发者和特朗普政府的青睐,这两者都见证了中国AI实验室在开源领域的崛起。
"回到我们2015年创立时,OpenAI的使命是确保通用人工智能造福全人类,"OpenAI CEO萨姆·奥特曼在与TechCrunch分享的声明中说道。"为此,我们很高兴看到世界在美国创建的开放AI技术栈上进行构建,这基于民主价值观,对所有人免费提供,造福广大用户。"
模型性能表现
OpenAI旨在使其开放模型成为其他开放权重AI模型中的领导者,该公司声称已经做到了这一点。
在Codeforces竞技编程测试中,gpt-oss-120b和gpt-oss-20b分别得分2622和2516,超越了DeepSeek的R1,但表现不及o3和o4-mini。
在"人类最后考试"这一跨多学科众包问题的挑战性测试中,gpt-oss-120b和gpt-oss-20b分别得分19%和17.3%。同样,这一表现不及o3,但超越了DeepSeek和Qwen的领先开放模型。
值得注意的是,OpenAI的开放模型比其最新的AI推理模型o3和o4-mini产生更多幻觉。
在OpenAI内部的PersonQA基准测试中,gpt-oss-120b和gpt-oss-20b分别在49%和53%的问题中产生幻觉。这是OpenAI o1模型(16%幻觉率)的三倍多,也高于o4-mini模型的36%。
新模型训练
OpenAI表示其开放模型采用了与专有模型相似的训练过程。该公司称每个开放模型都利用专家混合(MoE)技术,针对任何给定问题调用更少的参数,使其运行更高效。对于拥有1170亿总参数的gpt-oss-120b,OpenAI表示该模型每个Token仅激活51亿参数。
该公司还表示其开放模型使用高计算强化学习(RL)进行训练,这是一个后训练过程,通过大型英伟达GPU集群在模拟环境中教授AI模型分辨对错。这一技术也用于训练OpenAI的o系列模型,开放模型具有类似的思维链过程,它们需要额外的时间和计算资源来处理答案。
由于后训练过程,OpenAI表示其开放AI模型擅长驱动AI智能体,能够在思维链过程中调用网络搜索或Python代码执行等工具。然而,OpenAI表示其开放模型仅支持文本,无法像该公司其他模型一样处理或生成图像和音频。
OpenAI在Apache 2.0许可证下发布gpt-oss-120b和gpt-oss-20b,这通常被认为是最宽松的许可证之一。该许可证允许企业在无需向该公司付费或获得许可的情况下将OpenAI的开放模型商业化。
然而,与AI2等AI实验室的完全开源产品不同,OpenAI表示不会发布用于创建其开放模型的训练数据。考虑到针对包括OpenAI在内的AI模型提供商的多项诉讼指控这些公司不当使用受版权保护的作品训练其AI模型,这一决定并不令人意外。
OpenAI在最近几个月多次推迟其开放模型的发布,部分原因是为了解决安全担忧。除了该公司的典型安全政策外,OpenAI在白皮书中表示还调查了恶意行为者是否可能微调其gpt-oss模型以在网络攻击或创建生物或化学武器方面提供更多帮助。
在OpenAI和第三方评估人员的测试后,该公司表示gpt-oss可能会略微增强生物能力。然而,即使在微调后,也没有发现证据表明这些开放模型能够达到其在这些领域的"高能力"危险阈值。
虽然OpenAI的模型似乎在开放模型中表现最先进,但开发者正热切期待DeepSeek R2(其下一代AI推理模型)的发布,以及Meta新超级智能实验室的新开放模型。
Q&A
Q1:OpenAI发布的这两款开源推理模型有什么区别?
A:OpenAI发布了两种规格的模型:gpt-oss-120b是功能更强大的大型模型,可在单个英伟达GPU上运行;gpt-oss-20b是轻量级模型,可在配备16GB内存的消费级笔记本电脑上运行。两款模型都具备与o系列模型相似的推理能力。
Q2:这些开源模型相比其他模型性能如何?
A:在Codeforces竞技编程测试中,这两款模型超越了DeepSeek的R1,但表现不及OpenAI自家的o3和o4-mini。在"人类最后考试"测试中同样如此。不过值得注意的是,这些开源模型的幻觉率较高,分别为49%和53%。
Q3:开发者可以如何使用OpenAI这些开源模型?
A:这两款模型可从Hugging Face平台免费下载,采用Apache 2.0许可证发布,允许企业无需付费即可商业化使用。当模型无法处理某些任务时,开发者还可以将开源模型连接到OpenAI功能更强大的封闭模型。
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。