OpenAI今日发布了新的生成式AI模型,虽然不是GPT-5,但这些新模型可能更加有趣。该公司推出了gpt-oss-120b和gpt-oss-20b,这是自2019年发布GPT-2以来首批开放权重模型。用户可以下载并在自己的硬件上运行这些模型,支持模拟推理、工具使用和深度定制。
与云端的专有模型不同,新的OpenAI模型提供两个版本(120b和20b),可在功能相对较弱的硬件配置上运行。两款都是Transformer架构,配备可配置的思维链(CoT),支持低、中、高三个设置等级。较低设置运行更快,计算资源消耗更少,但最高设置输出质量更佳。用户可通过系统提示中的单行代码设置CoT级别。
较小的gpt-oss-20b总共有210亿参数,利用专家混合(MoE)技术将每个Token的参数降至36亿。gpt-oss-120b拥有1170亿参数,通过MoE技术每个Token使用51亿参数。公司表示,较小模型可在16GB或更大内存的消费级机器上运行。运行gpt-oss-120b需要80GB内存,虽然超出普通消费机器配置,但可适配单个AI加速GPU如Nvidia H100。两款模型的上下文窗口均为128,000个Token。
团队表示,gpt-oss用户可期待与领先云端模型相似的强劲性能。在大多数测试中,较大版本的基准测试结果介于o3和o4-mini专有模型之间,较小版本稍逊一筹。在数学和编程任务中表现最接近。在基于知识的"人类最后考试"测试中,o3以24.9%(使用工具)遥遥领先,而gpt-oss-120b仅达到19%。相比之下,谷歌领先的Gemini Deep Think在该测试中达到34.8%。
OpenAI表示并不打算让任何人用新的开源版本替代其专有模型。该公司并非旨在复制主流GPT版本的功能,这些模型存在一些显著限制。例如,gpt-oss-120b和gpt-oss-20b仅支持文本,无多模态功能。不过,公司承认在某些情况下,用户可能不希望依赖大型云端AI——本地管理的AI具有更低延迟、更多定制机会,并能在现场保护敏感数据安全。
OpenAI意识到许多专有模型用户出于这些原因也在使用开源模型。目前,这些公司使用非OpenAI产品进行本地AI处理,但团队设计gpt-oss模型以与专有GPT模型集成。现在客户即使需要本地处理部分数据,也能使用端到端的OpenAI产品。
由于这些模型完全开放并遵循Apache 2.0许可证,开发者能够针对特定用例进行调优。与所有AI公司一样,OpenAI在模型中内置控制机制以限制恶意行为,但距离该公司上次发布开放模型已有数年——gpt-oss模型比2019年的GPT-2强大得多。
为确保在安全方面尽力而为,OpenAI决定通过调优gpt-oss使其表现恶意来测试最坏情况。开发人员表示,即使试图让模型行为不当,基于公司的准备框架,它在做恶意事情方面从未达到高质量水平。OpenAI声称这意味着其使用的审慎对齐和指令层级将防止开放模型的严重滥用。
如果想要自行验证这一声明,gpt-oss-120b和gpt-oss-20b今日可在HuggingFace上下载。还有GitHub存储库供查阅,OpenAI将在自己的基础设施上托管标准版本模型供测试。如需了解更多技术细节,该公司提供了模型卡片和研究博客文章。
Q&A
Q1:gpt-oss-120b和gpt-oss-20b有什么区别?
A:gpt-oss-120b拥有1170亿参数,通过专家混合技术每个Token使用51亿参数,需要80GB内存运行;gpt-oss-20b有210亿参数,每个Token使用36亿参数,可在16GB内存的消费级机器上运行。两款模型都支持可配置思维链功能。
Q2:这些开源模型性能如何?
A:较大版本gpt-oss-120b在大多数测试中表现介于o3和o4-mini专有模型之间,在数学和编程任务中表现最接近。在"人类最后考试"测试中达到19%,而o3达到24.9%,谷歌Gemini Deep Think达到34.8%。
Q3:OpenAI发布开源模型的目的是什么?
A:OpenAI并不打算让用户用开源版本替代专有模型,而是为了满足用户在某些情况下的本地AI需求。本地模型具有更低延迟、更多定制机会,并能保护敏感数据安全,同时可与专有GPT模型集成使用。
好文章,需要你的鼓励
很多人担心被AI取代,陷入无意义感。按照杨元庆的思路,其实无论是模型的打造者,还是模型的使用者,都不该把AI放在人的对立面。
MIT研究团队提出递归语言模型(RLM),通过将长文本存储在外部编程环境中,让AI能够编写代码来探索和分解文本,并递归调用自身处理子任务。该方法成功处理了比传统模型大两个数量级的文本长度,在多项长文本任务上显著优于现有方法,同时保持了相当的成本效率,为AI处理超长文本提供了全新解决方案。
谷歌宣布对Gmail进行重大升级,全面集成Gemini AI功能,将其转变为"个人主动式收件箱助手"。新功能包括AI收件箱视图,可按优先级自动分组邮件;"帮我快速了解"功能提供邮件活动摘要;扩展"帮我写邮件"工具至所有用户;支持复杂问题查询如"我的航班何时降落"。部分功能免费提供,高级功能需付费订阅。谷歌强调用户数据安全,邮件内容不会用于训练公共AI模型。
华为研究团队推出SWE-Lego框架,通过混合数据集、改进监督学习和测试时扩展三大创新,让8B参数AI模型在代码自动修复任务上击败32B对手。该系统在SWE-bench Verified测试中达到42.2%成功率,加上扩展技术后提升至49.6%,证明了精巧方法设计胜过简单规模扩展的技术理念。