来自斯坦福大学和华盛顿大学的研究人员开发出了一个大语言模型,在某些任务上的表现优于 OpenAI 的 o1-preview,且开发成本仅为后者的一小部分。
研究团队于上周五发表了相关论文,TechCrunch 今天对该项目进行了报道。这个名为 s1-32B 的算法已在 GitHub 上开源。
去年 9 月,OpenAI 推出了一个专注于推理能力的大语言模型 o1-preview。该算法的主要创新在于采用了一项称为测试时计算 (test-time compute) 的技术,在 s1-32B 模型中则被称为测试时扩展 (test-time scaling)。这项技术通过增加生成回答时的时间和硬件资源来提升大语言模型的输出质量。
在 o1-preview 发布后,多个研究团队着手复制测试时扩展技术。s1-32B 的开发者在论文中表示,他们的模型是首个公开成功复制"明确测试时扩展行为"的尝试。
研究人员在论文中写道:"我们的 s1-32B 模型展现出测试时扩展特性。此外,s1-32B 是样本效率最高的推理模型,其性能超过了 OpenAI 的 o1-preview 等闭源模型。"
项目的起点是阿里巴巴集团去年发布的开源大语言模型 Qwen2.5-32B-Instruct。研究人员使用包含 1,000 个提示词和 AI 生成答案的数据集对其进行定制,从而创建了 s1-32B。这些答案来自 Google LLC 的 Gemini Thinking Experimental LLM。
Gemini Thinking Experimental 不仅会回答用户的提示,还会展示得出答案的思考过程。该模型会用自然语言总结思考过程的每个步骤。这些总结与 1,000 个样本提示词和相应的 AI 生成答案一起被添加到 s1-32B 的训练数据集中。
研究人员通过多个步骤创建数据集。首先,他们从公开来源收集了 59,029 个涵盖数学、物理和化学等主题的问题。然后删除了包含错误的问题。随后,研究人员再次筛选数据集,只保留了 1,000 个最具挑战性的问题。
在用该数据集训练 s1-32B 后,研究人员应用了一种名为预算强制 (budget forcing) 的新机器学习方法。该方法通过向大语言模型提供提示,指示它比平常花更多时间思考问题,或相反地缩短推理过程。研究人员表示,这种方法解决了在大语言模型中实现测试时扩展的两个主要障碍。
第一个挑战是大语言模型有时花费太少时间思考任务,从而导致错误。当 s1-32B 处理查询的时间不够时,预算强制通过输入"wait"来解决这个问题。根据 s1-32B 的创建者说法,这个提示会让模型增强其推理工作流程。
在一次测试中,s1-32B 试图显示一个错误答案。在研究人员指示它等待后,模型发现了错误并生成了正确答案。
研究人员的预算强制方法解决的第二个问题是大语言模型有时花费太多时间思考提示。这可能会降低输出质量。例如,大语言模型可能找到正确答案,但在后续处理步骤中改变它。预算强制通过要求大语言模型跳过这些后续处理步骤来避免这个问题。
研究人员在 MATH 和 AIME24 数学基准测试中将 s1-32B 与 o1-preview 进行了比较。前者的得分比 OpenAI 的模型高出最多 27%。在另一个涉及数学问题的测试中,s1-32B 成功利用测试时计算将得分从 50% 提高到 57%。
预算强制使 s1-32B 不仅在某些任务上超越 o-1,而且成本更低。参与该模型开发的研究人员之一 Niklas Muennighoff 今天告诉 TechCrunch,开发成本约为 20 美元的硬件费用。研究人员在论文中详细说明,s1-32B 使用 16 块 Nvidia Corp. 的 H100 显卡训练了 26 分钟。
好文章,需要你的鼓励
香港中文大学与华为诺亚方舟实验室合作开发了PreMoe框架,解决了大型混合专家模型(MoE)在内存受限设备上的部署难题。研究团队发现MoE模型中的专家表现出明显的任务专业化特征,据此提出了概率专家精简(PEP)和任务自适应专家检索(TAER)两大核心技术。实验证明,DeepSeek-R1 671B模型在精简50%专家后仍保持97.2%的MATH500准确率,内存需求降至688GB;而更激进的精简方案(减少87.5%专家)也能保持72.0%的准确率。该方法适用于多种MoE架构,为强大AI系统的广泛部署铺平了道路。
SCIENCEBOARD是一项开创性研究,旨在评估多模态自主智能体在真实科学工作流中的表现。研究团队构建了一个包含169个高质量任务的基准测试,涵盖生物化学、天文学等六个科学领域,并开发了一个真实环境让智能体通过CLI或GUI接口与科学软件交互。实验评估表明,即使是最先进的模型在这些复杂科学任务上的成功率也仅为15%,远低于人类表现,揭示了当前技术的局限性并为未来科学智能体的发展提供了宝贵见解。
帝国理工学院的研究团队开发了AlphaMed,这是首个仅通过极简规则强化学习就能培养医疗推理能力的AI模型,无需依赖传统的思维链示范数据。通过分析数据信息丰富度和难度分布的影响,研究发现高信息量的医疗问答数据是推理能力的关键驱动因素。AlphaMed在六个医疗问答基准上取得了领先成绩,甚至超越了更大的封闭源模型,同时展现出自发的步骤推理能力,为医疗AI发展提供了更加开放、高效的新路径。
Alita是一种新型通用AI代理系统,采用极简设计理念,以"最小预定义,最大自我进化"为原则构建。由普林斯顿大学等多家机构研究团队开发的Alita,只配备一个核心能力和少量通用模块,能自主创建所需工具并重用为模型上下文协议(MCPs)。实验显示,Alita在GAIA基准测试上达到87.27%的通过率,超越包括OpenAI Deep Research在内的复杂系统,证明简约设计可带来卓越性能。