Runway在过去七年中一直专注为创意产业构建视觉生成工具,如今该公司发现了技术应用的新机遇:机器人行业。
这家总部位于纽约的公司以其视频和图像生成AI世界模型而闻名,这些大语言模型能够创建真实世界的模拟版本。最近,该公司在3月份发布了视频生成模型Gen-4,并在7月推出了视频编辑模型Runway Aleph。
Runway联合创始人兼CTO Anastasis Germanidis在接受TechCrunch采访时表示,随着Runway世界模型的不断改进和逼真度提升,公司开始收到来自机器人和自动驾驶汽车公司的合作询问,这些公司希望使用这项技术。
"我们认为这种模拟世界的能力在娱乐之外具有广泛用途,尽管娱乐仍然是我们一个不断增长的重要领域,"Germanidis说道。"这使得训练与真实世界交互的[机器人]策略变得更加可扩展和成本效益更高,无论是在机器人领域还是自动驾驶领域。"
Germanidis表示,与机器人和自动驾驶汽车公司合作并非Runway在2018年成立时的初衷。直到机器人和其他行业的公司主动联系,该公司才意识到他们的模型具有比最初想象更广泛的应用场景。
机器人公司正在使用Runway的技术进行训练模拟,Germanidis说。他补充道,仅在真实世界场景中训练机器人和自动驾驶汽车对公司来说成本高昂、耗时很长且难以规模化。
虽然Runway知道自己无法完全取代真实世界的训练,但Germanidis表示,公司可以通过在Runway模型上运行模拟获得巨大价值,因为这些模型能够实现极其精确的控制。
与真实世界训练不同,使用这些模型可以更容易地测试特定变量和情况,而无需改变场景中的其他任何因素,他补充说。
"你可以退一步,然后模拟不同行动的效果,"他说。"如果汽车选择这个转弯而不是那个,或者执行这个动作,结果会是什么?从相同的上下文创建这些推演,在物理世界中是一件非常困难的事情,基本上要保持环境的所有其他方面相同,只测试你想要采取的特定行动的效果。"
Runway并非唯一一家致力于解决这一问题的公司。例如,英伟达本月早些时候发布了其Cosmos世界模型的最新版本,以及其他机器人训练基础设施。
Germanidis表示,该公司不打算为机器人和自动驾驶汽车客户发布"完全独立的模型系列"。相反,Runway将对其现有模型进行微调,以更好地服务这些行业。该公司还正在组建一个专门的机器人团队。
Germanidis补充说,虽然这些行业并不在公司最初向投资者的推介中,但投资者支持这一扩张。Runway已从英伟达、谷歌和General Atlantic等投资者那里筹集了超过5亿美元资金,估值达30亿美元。
"我们对公司的理解是建立在一个原则之上,而不是基于市场,"Germanidis说。"这个原则就是模拟的理念,能够构建越来越好的世界表征。一旦你拥有了这些真正强大的模型,你就可以将它们用于各种不同的市场、各种不同的行业。我们预期的行业已经存在,并且由于生成式模型的强大力量,它们将发生更大的变化。"
Q&A
Q1:Runway的世界模型是什么?有什么特点?
A:Runway的世界模型是能够创建真实世界模拟版本的大语言模型,主要用于视频和图像生成。这些模型的特点是逼真度不断提升,能够进行精确的场景模拟,最新产品包括视频生成模型Gen-4和视频编辑模型Runway Aleph。
Q2:机器人公司如何使用Runway的技术?
A:机器人公司主要使用Runway的技术进行训练模拟。相比在真实世界中训练机器人和自动驾驶汽车,使用Runway的模型进行模拟训练更加成本效益高、可扩展,并且能够在保持其他环境因素不变的情况下测试特定变量和行动的效果。
Q3:Runway会为机器人行业开发专门的产品吗?
A:Runway不打算发布完全独立的机器人行业模型系列,而是会对现有模型进行微调以更好地服务机器人和自动驾驶汽车行业。同时,公司正在组建专门的机器人团队来支持这一业务扩张。
好文章,需要你的鼓励
YouTube在年度Made on YouTube活动中发布多项更新,包括Studio新增"相似度"检测和唇同步配音功能,YouTube Live支持迷你游戏和双格式同步直播,Shorts集成Veo 3 AI视频生成模型。此外还推出播客AI剪辑工具、新的货币化选项如品牌合作和购物标签功能,以及YouTube Music的粉丝互动新特性。
Orange Research团队开发的DivMerge技术实现了AI模型合并的重大突破,通过基于信息论的Jensen-Shannon散度优化,能够将多个专门模型智能组合成保持各自专长的"超级模型"。该技术在双任务合并中达到99.18%性能保持率,显著优于传统88.48%的水平,且在多任务场景下展现更好扩展性,仅需25个样本即可有效工作,为AI应用降本增效提供了新路径。
英国政府与美国数据分析公司Palantir达成国防合作协议,该公司将投资15亿英镑并在英国设立欧洲国防总部,创造350个就业岗位。双方将合作开发AI驱动的军事决策和目标定位系统,这些技术已在乌克兰得到测试。该协议是英国战略防务评估的重要组成部分,旨在提升军事规划和目标选择能力。此次合作是美国科技巨头对英国310亿英镑投资承诺的一部分。
腾讯AI实验室联合多所知名高校开发了一种名为CDE的新型AI训练框架,通过模仿儿童的好奇心学习机制,让大语言模型能够自主探索未知领域。该方法使用两套"好奇心传感器"指导模型学习,在数学推理任务上平均提升3个百分点,同时解决了传统方法中的"校准崩塌"问题,为开发更智能自主的AI系统开辟了新路径。