Runway AI 公司今天宣布完成了由 General Atlantic 领投的 3.08 亿美元融资。
参与本轮融资的还包括 Fidelity、Baillie Gifford、软银集团和英伟达等多家投资机构。英伟达此前还参与了 Runway 在 2023 年的 1.41 亿美元融资。据彭博社报道,这家人工智能创业公司目前估值超过 30 亿美元。
Runway 的这轮融资并不令人意外。早在去年 7 月,The Information 就报道 Runway 正在与 General Atlantic 就新一轮融资进行谈判。
这轮投资的消息发布前一天,Runway 刚推出了其最新的视频生成模型 Gen-4。用户只需提供一张参考图片和自然语言指令,该算法就能生成长达 10 秒的视频片段。它同时还具备图像生成功能。
与 Runway 之前的视频生成器相比,Gen-4 在保持视频帧间物体外观一致性方面有了显著提升。即使物体的背景发生变化,它也能保持这种一致性。
Runway 今天表示,新融资将用于支持其 AI 开发工作。公司网站上的一则招聘信息暗示,这项工程开发将重点关注增强其 AI 训练数据集。根据招聘信息,Runway 正在招聘一位机器学习总监,负责"建立并监督数据合作伙伴关系,为我们的 AI 模型获取高质量数据集"。
除了从外部合作伙伴获取训练数据外,该公司可能还计划在内部创建数据集。Runway 目前正在招聘编剧、视觉特效师和动画师。内部创意团队将使公司能够为其 AI 训练项目创建定制视频数据集。
另一则工程经理的招聘信息暗示,Runway 的开发路线图将优先考虑扩散模型和大语言模型。前者类型的神经网络是视频生成任务的首选。它们通过创建包含噪声的视频,然后gradually 将噪声替换为用户要求的视觉内容来生成视频片段。
大语言模型虽然不能生成视频,但大多数大语言模型所基于的 Transformer 架构可用于增强扩散模型。在某些情况下,用 Transformer 模块替换扩散模型的某些组件可以加快训练速度。
今天的融资轮应该能让 Runway 在与提供名为 Sora 的竞争性视频生成器的 OpenAI 的竞争中处于更有利地位。后者可以生成长达 20 秒的视频片段。本周早些时候,OpenAI 因"经历高流量"而暂时禁用了新用户使用 Sora 的视频生成功能。
图片来源:Runway
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。