Oxa 通过战略收购自主工业服务提供商 StreetDrone 以加强其在工业物流领域的地位后,这家自动驾驶车辆软件提供商正进一步深入产业,计划使用 Nvidia Cosmos 生成式世界基础模型 (WFMs) 来加速工业移动自动化 (IMA)。
解释此举原因时,Oxa 指出,自工业革命以来,自动化提高了生产力,降低了成本并促进了创新,同时,企业软件推动了数十年的业务任务自动化,创造了其称之为"巨大"的经济价值。现在,该公司表示,物理人工智能 (AI) 正在开启新的 IMA 时代,自动化企业每日执行的数十亿移动任务。
在实际应用中,IMA 将实现工作车辆重复驾驶任务的自动化,例如固定路线的共享客运、机场地面运输 (行李、货物、乘客/机组人员)、港口和零售场地的拖车/集装箱调度、资产监控、工厂生产线零部件物流以及枢纽间的卡车物流。这些任务目前由全球约 4 亿辆工作车辆执行,通常在统一路线上完成,且具有特定场所特征——使它们成为自动化的理想选择。
Oxa 计算出 IMA 代表着 2 万亿美元的市场机会,因为企业越来越多地转向自动化来执行日常重复性移动任务,如客运、资产监控和工厂零部件生产线物流,支持提高生产力、降低成本和促进创新。
此次合作将使 Oxa 使用 Nvidia 的 Cosmos 世界基础模型——这些模型能够从文本和图像等多模态输入生成逼真的虚拟世界状态视频——包括 Cosmos Predicts 模型,以增强其自身的培训工具,如 Oxa Sensor Expansion,这些工具位于其开发工具链 Oxa Foundry 中。
通过与 Nvidia 的合作,Oxa 表示它将能够生成大量多样化且逼真的合成数据,加速其软件的训练和验证,同时显著加快安全、可靠和高效的自动驾驶产品的开发和部署。
使用这类工具的目标是,通过生成各种逼真的合成传感器数据,将为 Oxa 的自动驾驶软件提供更严格的训练和验证,加速开发其保证将是安全、可靠和高效的自动驾驶服务。
该公司表示,其基于 Oxa Foundry 的开发采用了一种新颖的生成式 AI 方法,在计划好的、统一且可重复的路线上"超本地化"地训练和保证其核心 Oxa Driver 自动驾驶软件,将其从通才转变为专才。这些生成式 AI 技术能够创建"具有代表性"且有针对性的"教学大纲",用于教授和确保 Oxa Driver 的质量,同时具有最小且经济高效的源数据需求。
"通过与 Nvidia 合作并利用其最新技术,我们正在加速我们向客户提供安全、可靠和高效自动化解决方案的能力,解决驾驶员短缺和生产力差距等关键挑战,"Oxa 首席执行官 Gavin Jackson 表示。"将 Cosmos 用于合成数据生成与我们自己的技术相结合,将有助于实现我们的目标并开启 2 万亿美元的 IMA 市场。"
好文章,需要你的鼓励
这项研究由浙江大学、复旦大学等机构联合完成,提出了ReVisual-R1模型,通过创新的三阶段训练方法显著提升了多模态大语言模型的推理能力。研究发现优化的纯文本冷启动训练、解决强化学习中的梯度停滞问题、以及分阶段训练策略是关键因素。ReVisual-R1在各类推理基准测试中超越了现有开源模型,甚至在某些任务上超过了商业模型,为多模态推理研究开辟了新途径。
这项研究提出了一种名为"批评式微调"的创新方法,证明仅使用一个问题的批评数据就能显著提升大语言模型的推理能力。研究团队对Qwen和Llama系列模型进行实验,发现这种方法在数学和逻辑推理任务上都取得了显著提升,平均提高15-16个百分点,而且只需要强化学习方法1/20的计算资源。这种简单高效的方法为释放预训练模型的潜在推理能力提供了新途径。
新加坡国立大学研究团队开发了名为IEAP的图像编辑框架,它通过将复杂编辑指令分解为简单原子操作序列解决了当前AI图像编辑的核心难题。研究发现当前模型在处理不改变图像布局的简单编辑时表现出色,但在需要改变图像结构时效果差。IEAP框架定义了五种基本操作,并利用思维链推理技术智能分解用户指令,实验证明其性能显著超越现有方法,尤其在处理复杂多步骤编辑时。
Character AI的研究者开发出TalkingMachines系统,通过自回归扩散模型实现实时音频驱动视频生成。研究将预训练视频模型转变为能进行FaceTime风格对话的虚拟形象系统。核心创新包括:将18B参数的图像到视频DiT模型改造为音频驱动系统、通过蒸馏实现无错误累积的无限长视频生成、优化工程设计降低延迟。系统可让多种风格的虚拟角色与人进行自然对话,嘴型与语音同步,为实时数字人交互技术开辟了新可能。