根据上海人工智能实验室的一项新研究表明,小型语言模型 (SLMs) 在推理任务中可以超越领先的大语言模型 (LLMs)。研究人员展示了通过使用适当的工具和测试时扩展技术,一个拥有 10 亿参数的 SLM 可以在复杂的数学基准测试中超越拥有 4050 亿参数的 LLM。
在企业寻求在不同环境和应用中使用这些新模型的情况下,部署 SLM 来处理复杂推理任务可能非常有用。
测试时扩展的解释
测试时扩展 (TTS) 是在推理过程中为 LLM 提供额外计算周期以提高其在各种任务上表现的过程。领先的推理模型,如 OpenAI o1 和 DeepSeek-R1,使用"内部 TTS",这意味着它们通过生成一长串思维链 (CoT) token 来训练"慢思考"。
另一种方法是"外部 TTS",即通过外部帮助来增强模型性能。外部 TTS 适用于将现有模型重新用于推理任务,而无需进一步微调。外部 TTS 设置通常由"策略模型"(生成答案的主要 LLM)和过程奖励模型 (PRM,用于评估策略模型答案) 组成。这两个组件通过采样或搜索方法相互配合。
最简单的设置是"N 选优",其中策略模型生成多个答案,PRM 选择一个或多个最佳答案来组成最终响应。更高级的外部 TTS 方法使用搜索。在"束搜索"中,模型将答案分解为多个步骤。
对于每个步骤,它会采样多个答案并通过 PRM 运行。然后选择一个或多个合适的候选答案并生成下一步答案。在"多样化验证树搜索" (DVTS) 中,模型生成多个答案分支以创建更多样化的候选响应集,然后将它们合成为最终答案。
选择正确的扩展策略
选择正确的 TTS 策略取决于多个因素。研究作者对不同策略模型和 PRM 如何影响 TTS 方法的效率进行了系统研究。
他们的研究表明,效率在很大程度上取决于策略和 PRM 模型。例如,对于小型策略模型,基于搜索的方法优于 N 选优。然而,对于大型策略模型,N 选优更有效,因为这些模型具有更好的推理能力,不需要奖励模型来验证推理的每个步骤。
研究还显示,正确的 TTS 策略取决于问题的难度。例如,对于参数少于 70 亿的小型策略模型,N 选优更适合简单问题,而束搜索更适合困难问题。对于介于 70 亿到 320 亿参数之间的策略模型,多样化树搜索在简单和中等问题上表现良好,束搜索最适合困难问题。但对于大型策略模型 (720 亿参数及以上),N 选优是所有难度级别的最佳方法。
为什么小型模型能够胜过大型模型
基于这些发现,开发人员可以创建计算优化的 TTS 策略,考虑策略模型、PRM 和问题难度,以最好地利用计算预算来解决推理问题。
例如,研究人员发现,使用计算优化的 TTS 策略的 Llama-3.2-3B 模型在 MATH-500 和 AIME24 这两个复杂的数学基准测试中超越了 Llama-3.1-405B。这表明当使用计算优化的 TTS 策略时,一个 SLM 可以超越一个大 135 倍的模型。
在其他实验中,他们发现使用正确的计算优化 TTS 策略,一个拥有 5 亿参数的 Qwen2.5 模型可以超越 GPT-4o。使用相同的策略,DeepSeek-R1 的 15 亿参数蒸馏版本在 MATH-500 和 AIME24 上超越了 o1-preview 和 o1-mini。
当考虑训练和推理计算预算时,研究发现使用计算优化的扩展策略,SLM 可以用少 100-1000 倍的 FLOPS 超越更大的模型。
研究人员的结果表明,计算优化的 TTS 显著增强了语言模型的推理能力。然而,随着策略模型变大,TTS 的改进逐渐减少。
研究人员写道:"这表明 TTS 的有效性直接与策略模型的推理能力相关。具体来说,对于推理能力较弱的模型,扩展测试时计算会带来显著改进,而对于推理能力强的模型,收益有限。"
该研究验证了在应用计算优化的测试时扩展方法时,SLM 可以比更大的模型表现更好。虽然这项研究侧重于数学基准测试,但研究人员计划将研究扩展到编码和化学等其他推理任务。
好文章,需要你的鼓励
加利福尼亚大学和萨里大学研究团队开发了一种创新的AI系统,能够仅通过简单的手绘素描就在复杂照片中精确识别关键点。这项技术突破了传统机器学习需要大量同类数据的限制,实现了真正的跨模态学习。系统在动物关键点识别任务中达到了39%的准确率,超越现有方法约5个百分点,并且在真实手绘素描测试中表现稳定。该技术有望在生物学研究、医疗诊断、工业检测等多个领域找到广泛应用。
AI系统正变得越来越善于识别用户偏好和习惯,像贴心服务员一样定制回应以取悦、说服或保持用户注意力。然而这种看似无害的个性化调整正在悄然改变现实:每个人接收到的现实版本变得越来越独特化。这种认知漂移使人们逐渐偏离共同的知识基础,走向各自的现实世界。AI个性化不仅服务于我们的需求,更开始重塑这些需求,威胁社会凝聚力和稳定性。当真相本身开始适应观察者时,它变得脆弱且易变。
约翰霍普金斯大学发布DOTRESIZE技术,通过最优传输理论实现AI大模型智能压缩。该方法将相似神经元合并而非删除,在保持性能的同时显著降低计算成本。实验显示,压缩20%后模型仍保持98%性能,为AI技术普及和可持续发展提供新路径。