Runway AI 公司今天宣布完成了由 General Atlantic 领投的 3.08 亿美元融资。
参与本轮融资的还包括 Fidelity、Baillie Gifford、软银集团和英伟达等多家投资机构。英伟达此前还参与了 Runway 在 2023 年的 1.41 亿美元融资。据彭博社报道,这家人工智能创业公司目前估值超过 30 亿美元。
Runway 的这轮融资并不令人意外。早在去年 7 月,The Information 就报道 Runway 正在与 General Atlantic 就新一轮融资进行谈判。
这轮投资的消息发布前一天,Runway 刚推出了其最新的视频生成模型 Gen-4。用户只需提供一张参考图片和自然语言指令,该算法就能生成长达 10 秒的视频片段。它同时还具备图像生成功能。
与 Runway 之前的视频生成器相比,Gen-4 在保持视频帧间物体外观一致性方面有了显著提升。即使物体的背景发生变化,它也能保持这种一致性。
Runway 今天表示,新融资将用于支持其 AI 开发工作。公司网站上的一则招聘信息暗示,这项工程开发将重点关注增强其 AI 训练数据集。根据招聘信息,Runway 正在招聘一位机器学习总监,负责"建立并监督数据合作伙伴关系,为我们的 AI 模型获取高质量数据集"。
除了从外部合作伙伴获取训练数据外,该公司可能还计划在内部创建数据集。Runway 目前正在招聘编剧、视觉特效师和动画师。内部创意团队将使公司能够为其 AI 训练项目创建定制视频数据集。
另一则工程经理的招聘信息暗示,Runway 的开发路线图将优先考虑扩散模型和大语言模型。前者类型的神经网络是视频生成任务的首选。它们通过创建包含噪声的视频,然后gradually 将噪声替换为用户要求的视觉内容来生成视频片段。
大语言模型虽然不能生成视频,但大多数大语言模型所基于的 Transformer 架构可用于增强扩散模型。在某些情况下,用 Transformer 模块替换扩散模型的某些组件可以加快训练速度。
今天的融资轮应该能让 Runway 在与提供名为 Sora 的竞争性视频生成器的 OpenAI 的竞争中处于更有利地位。后者可以生成长达 20 秒的视频片段。本周早些时候,OpenAI 因"经历高流量"而暂时禁用了新用户使用 Sora 的视频生成功能。
图片来源:Runway
好文章,需要你的鼓励
新加坡国立大学研究团队开发了名为IEAP的图像编辑框架,它通过将复杂编辑指令分解为简单原子操作序列解决了当前AI图像编辑的核心难题。研究发现当前模型在处理不改变图像布局的简单编辑时表现出色,但在需要改变图像结构时效果差。IEAP框架定义了五种基本操作,并利用思维链推理技术智能分解用户指令,实验证明其性能显著超越现有方法,尤其在处理复杂多步骤编辑时。
Character AI的研究者开发出TalkingMachines系统,通过自回归扩散模型实现实时音频驱动视频生成。研究将预训练视频模型转变为能进行FaceTime风格对话的虚拟形象系统。核心创新包括:将18B参数的图像到视频DiT模型改造为音频驱动系统、通过蒸馏实现无错误累积的无限长视频生成、优化工程设计降低延迟。系统可让多种风格的虚拟角色与人进行自然对话,嘴型与语音同步,为实时数字人交互技术开辟了新可能。
这项由中国人民大学高瓴人工智能学院研究团队发表的研究解决了大语言模型评判中的自我偏好问题。研究提出了DBG分数,通过比较模型给自身回答的分数与黄金判断的差异来测量偏好度,有效分离了回答质量与自我偏好偏差。实验发现,预训练和后训练模型都存在自我偏好,但大模型比小模型偏好度更低;调整回答风格和使用相同数据训练不同模型可减轻偏好。研究还从注意力分析角度揭示了自我偏好的潜在机制,为提高AI评判客观性提供了重要指导。
这篇研究提出了DenseDPO,一种改进视频生成模型的新方法,通过三大创新解决了传统方法中的"静态偏好"问题:使用结构相似的视频对进行比较,采集细粒度的时序偏好标注,并利用现有视觉语言模型自动标注。实验表明,DenseDPO不仅保留了视频的动态性,还在视觉质量方面与传统方法相当,同时大大提高了数据效率。这项技术有望推动AI生成更加自然、动态的视频内容。