在最近一期由 LinkedIn 联合创始人 Reid Hoffman 共同主持的 Possible 播客节目中,Google DeepMind 的 CEO Demis Hassabis 表示,Google 计划将其 Gemini AI 模型与 Veo 视频生成模型最终整合在一起,以提升前者对物理世界的理解能力。
Hassabis 说道:"我们从一开始就将 Gemini(我们的基础模型)设计为多模态的。我们这样做是因为我们对通用数字助手有一个愿景,这个助手能够在现实世界中真正帮助到你。"
AI 行业正在逐步向"全能"模型发展——这类模型能够理解和合成多种形式的媒体内容。Google 最新的 Gemini 模型可以生成音频、图像和文本,而 OpenAI 在 ChatGPT 中的默认模型也能原生创建图像——当然也包括吉卜力工作室风格的艺术作品。Amazon 也宣布计划在今年晚些时候推出一个"任意转换"模型。
这些全能模型需要大量的训练数据——包括图像、视频、音频、文本等。Hassabis 暗示 Veo 的视频数据主要来自 Google 旗下的 YouTube 平台。
Hassabis 表示:"基本上,通过观看大量的 YouTube 视频,Veo 2 可以理解世界的物理规律。"
Google 此前向 TechCrunch 表示,其模型"可能"会按照与 YouTube 创作者的协议,使用"部分" YouTube 内容进行训练。据报道,Google 去年部分扩展了其服务条款,以允许公司获取更多数据来训练其 AI 模型。
好文章,需要你的鼓励
这篇研究论文介绍了"Speechless",一种创新方法,可以在不使用实际语音数据的情况下训练语音指令模型,特别适用于越南语等低资源语言。研究团队通过将文本指令转换为语义表示,绕过了对高质量文本转语音(TTS)系统的依赖。该方法分三个阶段:首先训练量化器将语音转为语义标记;然后训练Speechless模型将文本转为这些标记;最后用生成的合成数据微调大型语言模型。实验表明,该方法在越南语ASR任务中表现出色,为低资源语言的语音助手开发提供了经济高效的解决方案。
《Transformer Copilot》论文提出了一种革命性的大语言模型微调框架,通过系统记录和利用模型训练过程中的"错误日志"来提升推理性能。研究团队受人类学习者记录和反思错误的启发,设计了一个"副驾驶"模型来辅助原始"驾驶员"模型,通过学习错误模式并在推理时校正输出。这一方法在12个基准测试上使模型性能提升高达34.5%,同时保持计算开销最小,展现了强大的可扩展性和可迁移性,为大语言模型的优化提供了全新思路。
德克萨斯大学Austin分校的研究团队提出了RIPT-VLA,一种创新的视觉-语言-动作模型后训练范式。该方法通过让AI模型与环境互动并仅接收简单的成功/失败反馈来学习,无需复杂的奖励函数或价值模型。实验证明,RIPT-VLA能显著提升现有模型性能,在轻量级QueST模型上平均提升21.2%,将大型OpenVLA-OFT模型推至97.5%的前所未有成功率。最令人惊叹的是,仅用一个示范样本,它就能将几乎不可用的模型在15次迭代内从4%提升至97%的成功率,展现出卓越的数据效率和适应能力。
北京大学与华为诺亚方舟实验室研究团队共同开发了TIME基准,这是首个专为评估大语言模型在真实世界场景中的时间推理能力而设计的多层级基准。该研究提出了三个层级的时间推理框架,包含11个细粒度任务,并构建了涵盖38,522个问答对的数据集,针对知识密集型信息、快速变化的事件动态和社交互动中的复杂时间依赖性三大现实挑战。实验结果表明,即使是先进模型在构建时间线和理解复杂时间关系方面仍面临显著挑战,而测试时扩展技术可明显提升时间逻辑推理能力。