OpenAI 公司领导在周五的 Discord 办公时间会议中表示,该公司计划最终将其 AI 视频生成工具 Sora 直接整合到其广受欢迎的消费级聊天机器人应用 ChatGPT 中。
目前,Sora 只能通过 OpenAI 在去年 12 月推出的专用网页应用访问,用户可以使用同名的 AI 视频模型生成最长 20 秒的电影级片段。然而,OpenAI 的 Sora 产品负责人 Rohan Sahai 表示,公司计划将 Sora 部署到更多平台,并扩展其创作能力。
OpenAI 在去年 12 月发布之前的几个月里,主要面向创意人员和视频制作工作室推广 Sora。现在,公司正在更加积极地努力扩大其 AI 视频创作工具的受众群。
Sahai 表示,OpenAI 正在积极开发将 Sora 整合到 ChatGPT 中的方案,实现两个产品的融合,但他没有透露具体时间表。他暗示,最终整合到 ChatGPT 中的 Sora 版本可能不会提供与 Sora 网页应用相同程度的控制功能,比如用户编辑和拼接视频的能力。
OpenAI 可能试图通过让用户在聊天机器人中生成 Sora 视频来吸引更多用户使用 ChatGPT。将 Sora 整合到 ChatGPT 中还可能激励用户升级到 ChatGPT 的高级订阅层级,这些订阅可能提供更高的视频生成限制。
Sahai 在办公时间会议中解释说,OpenAI 将 Sora 作为独立网页应用推出的原因之一是为了保持 ChatGPT 的简洁性。
自推出以来,OpenAI 已经扩展了 Sora 的网页体验,为用户提供了更多浏览社区 Sora 生成视频的方式。Sahai 还表示,OpenAI "很想开发" 一个独立的 Sora 移动应用,并提到 Sora 团队正在积极招聘移动端工程师。
OpenAI 还计划将 Sora 的生成能力扩展到图像领域。
Sahai 证实了相关传闻,表示 OpenAI 正在开发一个由 Sora 驱动的 AI 图像生成器。虽然 ChatGPT 已经支持由 OpenAI 的 DALL-E 3 模型驱动的图像生成功能,但 Sora 驱动的图像生成器可能能够让用户创建更加逼真的照片。
Sahai 补充说,OpenAI 还在开发新版本的 Sora Turbo,这是目前驱动 Sora 网页应用的模型。
好文章,需要你的鼓励
这项来自苹果公司的研究揭示了视频大语言模型评测的两大关键问题:许多测试问题不看视频就能回答正确,且打乱视频帧顺序后模型表现几乎不变。研究提出VBenchComp框架,将视频问题分为四类:语言模型可回答型、语义型、时序型和其他类型,发现在主流评测中高达70%的问题实际上未测试真正的视频理解能力。通过重新评估现有模型,研究团队证明单一总分可能掩盖关键能力差距,并提出了更高效的评测方法,为未来视频AI评测提供了新方向。
这篇来自KAIST AI研究团队的论文提出了"差分信息分布"(DID)这一创新概念,为理解直接偏好优化(DPO)提供全新视角。研究证明,当偏好数据编码了从参考策略到目标策略所需的差分信息时,DPO中的对数比率奖励形式是唯一最优的。通过分析DID熵,研究解释了对数似然位移现象,并发现高熵DID有利于通用指令跟随,而低熵DID适合知识密集型问答。这一框架统一了对DPO目标、偏好数据结构和策略行为的理解,为语言模型对齐提供理论支持。
VidText是一个全新的视频文本理解基准,解决了现有评估体系的关键缺口。它涵盖多种现实场景和多语言内容,提出三层评估框架(视频级、片段级、实例级),并配对感知与推理任务。对18个先进多模态模型的测试显示,即使最佳表现的Gemini 1.5 Pro也仅达46.8%平均分,远低于人类水平。研究揭示输入分辨率、OCR能力等内在因素和辅助信息、思维链推理等外部因素对性能有显著影响,为未来视频文本理解研究提供了方向。
ZeroGUI是一项突破性研究,实现了零人工成本下的GUI代理自动化在线学习。由上海人工智能实验室和清华大学等机构联合开发,这一框架利用视觉-语言模型自动生成训练任务并提供奖励反馈,使AI助手能够自主学习操作各种图形界面。通过两阶段强化学习策略,ZeroGUI显著提升了代理性能,在OSWorld环境中使UI-TARS和Aguvis模型分别获得14%和63%的相对改进。该研究彻底消除了传统方法对昂贵人工标注的依赖,为GUI代理技术的大规模应用铺平了道路。