根据香港大学和加州大学伯克利分校的一项新研究显示,当语言模型被允许自主创造解决方案时,其泛化能力会更强。这一发现同时适用于大语言模型 (LLM) 和视觉语言模型 (VLM),它挑战了 LLM 领域的一个主要观点 —— 即模型需要人工标注的训练样本。事实上,研究人员发现,在过多人工制作的样本上训练模型可能会对其处理未见数据的泛化能力产生负面影响。
模型训练中的 SFT 与 RL
长期以来,监督微调 (SFT) 一直是训练 LLM 和 VLM 的黄金标准。模型在原始文本和图像数据上预训练后,企业和 AI 实验室通常会在大量按问答或请求/响应格式手工制作的样本数据集上进行后训练。在 SFT 之后,模型可以进行额外的训练阶段,比如基于人类反馈的强化学习 (RLHF),模型通过诸如答案排名或对模型响应的喜欢/不喜欢等信号来学习隐含的人类偏好。
SFT 有助于引导模型的行为朝着创建者设计的任务方向发展。然而,收集数据是一个缓慢且昂贵的过程,这成为许多公司和实验室的瓶颈。
LLM 的最新发展引发了人们对纯强化学习 (RL) 方法的兴趣,在这种方法中,模型被赋予一个任务并被允许自主学习,而无需人工制作的样本。最重要的例子是 DeepSeek-R1,这个 OpenAI 的竞争对手主要使用强化学习来学习复杂的推理任务。
泛化与记忆
机器学习 (ML) 系统的一个关键问题是过拟合,即模型在训练数据上表现良好但无法泛化到未见样本。在训练过程中,模型给人一种已经学会任务的错觉,而实际上它只是记住了训练样本。在大型复杂的 AI 模型中,区分泛化和记忆可能很困难。
这项新研究focused on强化学习和SFT训练在文本和视觉推理任务中的泛化能力。对于文本推理,在一组规则上训练的 LLM 应该能够泛化到这些规则的变体。在视觉推理中,VLM 应该在视觉输入的不同方面(如颜色和空间布局)发生变化时保持任务表现的一致性。
在实验中,研究人员使用了两个具有代表性的任务。第一个是 GeneralPoints,这是一个评估模型算术推理能力的基准。模型会得到四张卡片(以文本描述或图像形式),并被要求将它们组合以达到目标数字。为了研究基于规则的泛化,研究人员使用一组规则训练模型,然后用不同的规则评估它。对于视觉泛化,他们使用一种颜色的卡片训练模型,然后测试其在其他颜色和编号方案的卡片上的表现。
第二个任务是 V-IRL,它在使用真实视觉输入的开放世界导航领域中测试模型的空间推理能力。这个任务也有纯语言和视觉语言版本。研究人员通过改变模型训练和测试时使用的指令类型和视觉表示来评估泛化能力。
他们在 Llama-3.2-Vision-11B 上进行测试,首先通过在小型 SFT 数据集上训练来预热模型,然后为每个任务和训练范式创建单独的版本。对于每个任务,他们分别扩展了 RL 和 SFT 的训练。SFT 过程在额外的手工制作的解决方案上训练模型,而 RL 则让模型为每个问题生成多个解决方案,评估结果并在正确答案上自我训练。
研究结果表明,强化学习在与训练数据显著不同的样本上始终能改善性能。相反,SFT 似乎记住了训练规则,无法泛化到分布外 (OOD) 样本。这些观察结果同时适用于纯文本和多模态设置。
对实际应用的影响
虽然实验表明 RL 在泛化方面优于 SFT,但研究人员也发现 SFT 有助于稳定模型的输出格式,对于使 RL 实现其性能提升至关重要。研究人员发现,没有初始 SFT 阶段,RL 训练无法达到理想的结果。
这与 DeepSeek-R1-Zero(仅用纯 RL 进行后训练)获得的结果有所不同。研究人员认为这可能是由于他们在实验中使用了不同的基础模型。
很明显,以 RL 为主的方法仍有大量未被开发的潜力。对于具有可验证结果的用例,让模型自主学习往往能带来人类无法自行设计的意外成果。这在创建手工示例既繁琐又昂贵的场景中特别有用。
好文章,需要你的鼓励
OpenAI 本周为 ChatGPT 添加了 AI 图像生成功能,用户可直接在对话中创建图像。由于使用量激增,CEO Sam Altman 表示公司的 GPU "正在融化",不得不临时限制使用频率。新功能支持工作相关图像创建,如信息图表等,但在图像编辑精确度等方面仍存在限制。值得注意的是,大量用户正在使用该功能创作吉卜力动画风格的图像。
Synopsys 近期推出了一系列基于 AMD 最新芯片的硬件辅助验证和虚拟原型设计工具,包括 HAPS-200 原型系统和 ZeBu-200 仿真系统,以及面向 Arm 硬件的 Virtualizer 原生执行套件。这些创新工具显著提升了芯片设计和软件开发的效率,有助于加快产品上市速度,满足当前 AI 时代下快速迭代的需求。
人工智能正在深刻改变企业客户关系管理 (CRM) 的方方面面。从销售自动化、营销内容生成到客服智能化,AI不仅提升了运营效率,还带来了全新的服务模式。特别是自主代理AI (Agentic AI) 的出现,有望在多渠道无缝接管客户服务职能,开创CRM发展新纪元。
数据孤岛长期困扰着组织,影响着人工智能的可靠性。它们导致信息分散、模型训练不完整、洞察力不一致。解决方案包括实施强大的数据治理、促进跨部门协作、采用现代数据集成技术等。克服数据孤岛对于充分发挥AI潜力至关重要。