思维链 (CoT) 推理 —— 即模型在得出答案前将问题分解为可管理的"思维"步骤的过程 —— 已经成为最新一代前沿大语言模型 (LLMs) 的重要组成部分。
然而,随着模型生成过多的 CoT tokens,推理模型的推理成本会迅速累积。在一篇新论文中,卡内基梅隆大学的研究人员提出了一种大语言模型训练技术,让开发者能够更好地控制 CoT 的长度。
这种被称为长度受控策略优化 (LCPO) 的技术,可以在保证模型提供正确答案的同时,将其"思维"控制在预设的 token 预算内。实验表明,经 LCPO 训练的模型在准确性和成本之间提供了平滑的权衡,并且在相同推理长度下能够出人意料地超越更大的模型。LCPO 可以通过在每轮与大语言模型的对话中节省数千个 tokens,大大降低企业应用中的推理成本。
大语言模型性能导致更长的 CoT
像 OpenAI o1 和 DeepSeek-R1 这样的推理模型通过强化学习 (RL) 进行训练,以使用测试时缩放并在生成答案前生成 CoT 轨迹。经验证据表明,当模型"思考"时间更长时,它们在推理任务上的表现往往更好。
例如,R1 最初是在没有人工标注示例的纯 RL 上训练的。一个重要发现是,随着模型性能的提升,它也学会了生成更长的 CoT 轨迹。
虽然总的来说,长 CoT 链会带来更准确的响应,但在大规模应用推理模型时也会造成计算瓶颈。目前对测试时计算预算几乎没有控制,序列可能轻易延伸到数万个 tokens 而没有带来显著收益。虽然已经有一些控制推理链长度的尝试,但它们通常会降低模型的性能。
长度受控策略优化 (LCPO) 解释
传统的 RL 方法只训练大语言模型获得正确响应。LCPO 通过引入两个训练目标改变了这一范式:1) 获得正确结果和 2) 将 CoT 链限制在特定 token 长度内。因此,如果模型产生了正确的响应但生成了过多的 CoT tokens,它将受到惩罚,并被迫想出一个能达到相同答案但 token 预算更小的推理链。
研究人员提出了两种 LCPO 变体:(1) LCPO-exact,要求生成的推理恰好等于目标长度,以及 (2) LCPO-max,要求输出不超过目标长度。
为了测试该技术,研究人员在两种提出的 LCPO 方案上微调了一个 1.5B 参数的推理模型 (Qwen-Distilled-R1-1.5B),创建了 L1-max 和 L1-exact 模型。训练基于具有明确可验证结果的数学问题。然而,评估除了包括数学问题,还包括分布外任务,如大规模多任务语言理解 (MMLU) 技术和研究生级别的 Google-proof Q&A 基准 (GPQA)。
他们的研究发现,L1 模型可以精确平衡 token 预算和推理性能,通过对模型提示不同的长度约束,在短小高效的推理和更长更准确的推理之间平滑过渡。重要的是,在某些任务上,L1 模型可以在更低的 token 预算下复现原始推理模型的性能。
与 S1(唯一一种限制 CoT 长度的其他方法)相比,L1 模型在不同 token 预算上显示出高达 150% 的性能提升。
L1 还在相同生成长度下分别超过其非推理对手 5% 和 GPT-4o 2%。研究人员指出:"据我们所知,这是首次证明一个 1.5B 模型能够在使用相同生成长度的情况下超越 GPT-4o 等前沿模型。"
有趣的是,模型的 CoT 显示它学会了根据 token 预算调整其推理过程。例如,在更长的预算下,模型更可能生成与自我纠正和验证相关的 tokens(即"但是"和"等等")以及得出结论("因此"和"所以")。
这项关于模型可以调整其推理预算的新研究对实际应用有重要用途,使企业能够在不产生失控支出的情况下扩展推理模型。这是简单部署更大、更昂贵模型的有力替代方案 —— 可能是使 AI 在高容量实际应用中更具经济可行性的关键因素。
研究人员已开源了 LCPO 的代码和 L1 模型的权重。
好文章,需要你的鼓励
微软宣布为Word和Excel推出基于OpenAI的AI代理模式,通过简单提示即可自动生成文档和分析数据。Word用户可享受"氛围写作"功能,利用现有文档组装报告和提案。Excel代理能分析电子表格数据并生成可视化报告。尽管在SpreadsheetBench基准测试中准确率仅为57.2%,低于人类平均水平71.3%,但微软强调其针对实际工作场景优化。此外,微软还发布了基于Anthropic的Office代理,显示其正逐步减少对OpenAI的依赖。
苹果与清华合作提出EpiCache技术,解决AI长期对话中的记忆管理难题。该方法将对话自动分割成话题片段,为每个话题建立专门记忆库,实现智能匹配和高效检索。实验显示,EpiCache比传统方法准确率提高40%,内存使用减少4-6倍,响应速度提升2.4倍,为资源受限环境下的AI对话系统提供了实用解决方案。
OpenAI为美国ChatGPT用户推出"即时结账"功能,用户可在对话中直接购买Etsy和Shopify商品,无需跳转至外部网站。该功能支持Apple Pay、Google Pay等多种支付方式,并计划接入超过100万家Shopify商户。OpenAI还将开源其代理商务协议技术,与谷歌的代理支付协议形成竞争。这标志着电商购物模式的重大转变,AI聊天机器人可能重塑在线零售发现和支付生态系统。
清华大学与英伟达合作提出DiffusionNFT,一种革命性的AI图像生成训练方法。该方法通过对比正负样本进行学习,避免了复杂的概率计算,训练效率比传统方法提升25倍。研究团队在多项测试中验证了其优越性,不仅大幅提升了图像质量和文字渲染能力,还实现了无需分类器引导的高效训练,为AI图像生成技术的普及和应用奠定了重要基础。