上海交通大学的研究人员在一项新研究中发现,大语言模型 (LLMs) 无需依赖大规模数据集就能学习复杂的推理任务。他们的研究表明,只需要一小批精心策划的示例,就能训练大语言模型完成那些原本被认为需要数万个训练实例的任务。
这种效率得益于现代大语言模型在预训练阶段获得的固有知识。随着新的训练方法在数据和计算效率方面不断提升,企业可能无需依赖大型 AI 实验室的资源,就能创建定制化模型。
少即是多 (LIMO)
在这项研究中,研究人员对"训练大语言模型进行推理任务需要大量数据"这一假设提出了质疑。他们提出了"少即是多" (LIMO) 的概念。这项工作建立在之前的研究基础之上,即大语言模型可以通过少量示例与人类偏好保持一致。
在他们的实验中,他们证明可以使用几百个训练示例为复杂的数学推理任务创建 LIMO 数据集。在该数据集上微调的大语言模型能够创建复杂的思维链 (CoT) 推理链,使其能够以很高的成功率完成任务。
例如,基于 LIMO 选择的 817 个训练示例进行微调的 Qwen2.5-32B-Instruct 模型在极具挑战性的 AIME 基准测试中达到了 57.1% 的准确率,在 MATH 测试中达到了 94.8% 的准确率,超过了使用百倍训练数据的模型。它在基准测试中的得分也高于 QwQ-32B-Preview (经过推理训练的 Qwen 模型版本) 和 OpenAI o1-preview 等推理模型,而这些模型都使用了更多的数据和计算资源进行训练。
此外,LIMO 训练的模型能够泛化到与训练数据有很大差异的示例。例如,在 OlympiadBench 科学基准测试中,LIMO 模型超过了 QwQ-32B-Preview,在具有挑战性的 GPQA 基准测试中,它达到了 66.7% 的准确率,接近 OpenAI-o1-preview 73.3% 的领先得分。
对企业 AI 的意义
定制化大语言模型是企业应用的一个很有吸引力的用例。借助检索增强生成 (RAG) 和上下文学习等技术,大语言模型可以在无需昂贵微调的情况下,使用定制数据或执行新任务。
然而,推理任务通常需要训练和微调大语言模型。普遍认为此类任务需要大量包含详细推理链和解决方案的训练示例。对许多应用和公司而言,创建这样的数据集既耗时又不切实际。
最近,研究人员展示了纯强化学习方法可以使模型通过生成多个解决方案并选择最佳方案来自行训练推理任务。虽然这种方法需要较少的人工干预,但仍然需要许多企业无法负担的昂贵计算资源。
相比之下,制作几百个示例是许多公司都能应对的任务,这使得专门的推理模型能够被更多的组织所使用。
研究人员写道:"这一发现对人工智能研究具有深远影响:它表明即使是竞赛级别的复杂推理能力也可以通过最少但精心策划的训练样本有效地激发出来。"
LIMO 为何有效
在实验中,研究人员发现大语言模型能够用较少示例学习复杂推理任务的两个关键原因。
首先,最先进的基础模型在预训练期间已经接触了大量的数学内容和代码。这意味着这些大语言模型的参数中已经包含了丰富的推理知识,可以通过精心设计的示例激活。
其次,新的后训练技术表明,允许模型生成延伸推理链能显著提高其推理能力。本质上,给模型更多"思考"时间使其能够更有效地解析和应用预训练知识。
研究人员写道:"我们推测,成功的推理源于两个因素的协同作用:丰富的预训练知识和推理时足够的计算资源。这些发展共同表明了一个惊人的可能性:如果模型拥有丰富的推理知识并且有足够的计算空间,那么激活它们的推理能力可能只需要少量鼓励深入思考的高质量训练样本,而不是大规模的微调数据集。"
根据研究人员的发现,创建有用的 LIMO 数据集的关键在于选择合适的问题和解决方案。数据管理者应该优先考虑需要复杂推理链、多样化思维过程和知识整合的具有挑战性的问题。这些问题还应该偏离模型的训练分布,以鼓励新的推理方法并促使其实现泛化。
相应地,解决方案应该清晰且组织良好,推理步骤要适应问题的复杂性。高质量的解决方案还应该通过精心构建的解释,逐步建立理解,提供战略性的教育支持。
研究人员写道:"通过专注于最少但精心策划的推理链集合,我们体现了 LIMO 的核心原则:高质量的示范,而不是纯粹的数据量,是释放复杂推理能力的关键。"
研究人员已经发布了他们实验中用于训练 LIMO 模型的代码和数据。未来,他们计划将这一概念扩展到其他领域和应用。
好文章,需要你的鼓励
最新数据显示,Windows 11市场份额已达50.24%,首次超越Windows 10的46.84%。这一转变主要源于Windows 10即将于2025年10月14日结束支持,企业用户加速迁移。一年前Windows 10份额还高达66.04%,而Windows 11仅为29.75%。企业多采用分批迁移策略,部分选择付费延长支持或转向Windows 365。硬件销售受限,AI PC等高端产品销量平平,市场份额提升更多来自系统升级而非新设备采购。
清华大学团队开发出LangScene-X系统,仅需两张照片就能重建完整的3D语言场景。该系统通过TriMap视频扩散模型生成RGB图像、法线图和语义图,配合语言量化压缩器实现高效特征处理,最终构建可进行自然语言查询的三维空间。实验显示其准确率比现有方法提高10-30%,为VR/AR、机器人导航、智能搜索等应用提供了新的技术路径。
新一代液态基础模型突破传统变换器架构,能耗降低10-20倍,可直接在手机等边缘设备运行。该技术基于线虫大脑结构开发,支持离线运行,无需云服务和数据中心基础设施。在性能基准测试中已超越同等规模的Meta Llama和微软Phi模型,为企业级应用和边缘计算提供低成本、高性能解决方案,在隐私保护、安全性和低延迟方面具有显著优势。
IntelliGen AI推出IntFold可控蛋白质结构预测模型,不仅达到AlphaFold 3同等精度,更具备独特的"可控性"特征。该系统能根据需求定制预测特定蛋白质状态,在药物结合亲和力预测等关键应用中表现突出。通过模块化适配器设计,IntFold可高效适应不同任务而无需重新训练,为精准医学和药物发现开辟了新路径。