在可能是 CES 历史上观众最多的主题演讲中,Nvidia CEO 黄仁勋在座无虚席的 Michelob Ultra 体育场发布了一系列令人目不暇接的新技术。从面向消费者的新款 GeForce RTX 50 系列游戏显卡,到基于公司最新 Blackwell GPU 技术的安全自动驾驶平台 Thor,以及更多产品。然而,一项名为 Cosmos 的新型 Nvidia 生成式 AI 技术,可能因其复杂性被一些人忽略,但在我看来,它是另一个重要亮点。我甚至敢说,如果 Cosmos 按照公司的设想发展,它可能成为推动 Nvidia 机器人和自动驾驶业务腾飞的助推器。
理解 Nvidia Cosmos 物理 AI
Nvidia 将 Cosmos 称为"加速物理 AI 开发的平台"。简单来说,物理 AI 可以理解为任何机器人背后的大脑,无论是设计用于最优化适应我们生活世界的人形机器人、工厂自动化机器人,还是为在道路上运载人类或各类货物而优化的自动驾驶汽车。然而,训练机器人 AI 需要大量的人力和资源投入,通常需要捕获、标注和分类数百万小时的真实环境中的人类互动,或者在全球实际道路上行驶数百万英里。
Nvidia Cosmos 旨在通过一系列称为"世界基础模型" (WFM) 的技术来部分解决这个资源问题。这些 AI 神经网络可以为虚拟环境的未来状态生成具有准确物理特性的视频 - 可以称之为多元宇宙。这听起来很深奥,但实际上相当直观。WFM 类似于大语言模型,但与用于自然语言识别、生成和翻译的 LLM 不同,WFM 利用文本、图像、视频内容和运动数据来生成模拟虚拟世界和虚拟世界互动,具有准确的空间感知、物理特性和物理交互,甚至物体永久性。例如,如果工厂里的螺栓从桌子上滚落,即使当前摄像机视角看不到,AI 模型也知道它仍然存在,可能只是掉在地板上。
跟上了吗?很好,因为接下来会更有趣。这种用于训练物理 AI 或机器人的新型合成数据生成方式需要基于真实数据才能准确。换句话说,输入错误的数据意味着模型会产生幻觉或在生成机器人 AI 训练数据时不可靠。这就是 Nvidia 几年前宣布的 Omniverse 平台发挥作用的地方。
Cosmos 与 Nvidia Omniverse 数字孪生集成
Nvidia 的 Omniverse 数字孪生操作系统允许来自任何行业的公司和开发者在一个环境中模拟产品、工厂、机器人、车辆等,该环境设计用于连接行业标准工具,从计算机辅助设计到动画等。实际上,Nvidia 在 CES 2025 上还发布了新的 Omniverse "蓝图",以帮助开发者模拟工厂和仓库的机器人车队 (称为 Mega)、自动驾驶模拟、用于大规模工业数字孪生的 Apple Vision Pro 头显空间流媒体,以及实时计算机辅助工程和物理可视化。公司还为 OpenUSD(通用场景描述)提供免费教程,这是支撑 Omniverse 并允许集成行业标准工具和内容的语言。Nvidia 宣布多个主要企业正在采用其 Omniverse 平台,从用于半导体 EDA 设计工具的 Cadence,到用于计算流体动力学的 Altair 和 Ansys 等。
回到 Cosmos,我们现在可以看到 Nvidia 在机器人物理 AI 方面的完整解决方案正在成形。Cosmos 模型从真实世界的数字化版本获取输入,然后生成 AI 训练内容。根据黄仁勋在主题演讲中透露,虽然 Cosmos 模型是通过训练 2000 万小时的视频数据开发的,但希望在自己的数字孪生和数据上训练物理或机器人 AI 的开发者可以在 Omniverse 中进行模拟,然后让 Cosmos 播放出这些机器人 AI 可以训练的各种合成现实。
Cosmos 会成为 Nvidia 的又一个 CUDA 时刻吗?
此时,我知道你在想什么。在模拟数据和模拟世界中训练机器人,会出什么问题?毫无疑问,这项技术仍处于初期阶段,但俗话说得好,万事开头难。机器学习虽然容易产生幻觉,需要有防护措施 (Nvidia 在这方面有完善的工具和政策),但其优势在于可以不断训练,直到确信达到正确结果。而且机器不需要睡觉或喝咖啡休息,更不用说它比手动在人类生成和分类的内容上训练 AI 效率高得多。
话说回来,多年前,当 Nvidia 首次发布其 CUDA 编程语言,引发了 GPU 加速器上机器学习的时代时,公司采取了类似约翰尼苹果籽的策略,向各行各业的开发者提供工具,最终使其成为数据中心 AI 工作负载加速的事实标准。对于 Cosmos,Nvidia 再次在其开放模型许可下免费向开发者提供这些生成式 AI 世界基础模型,可以在 Hugging Face 或公司自己的 NGC 目录库访问。这些模型也将很快作为优化的 Nvidia 推理微服务 (NIM) 提供,所有这些都将在其 DGX 数据中心 AI 平台上加速,并在 AI 边缘设备、机器人和自动驾驶车辆中使用其 AGX Drive Orin 和 Thor 汽车计算平台。或者,正如黄仁勋和公司所称的"Nvidia 机器人 3 计算解决方案"。
Nvidia 指出,物理 AI 领域的几个大牌玩家已经采用了 Cosmos,从人形机器人公司如 1X 和 XPENG,到用于通用机器人的 Hillbot 和 SkildAI,再到网约车巨头 Uber,后者正在将 Cosmos 与其海量驾驶数据集结合使用,帮助为自动驾驶行业构建 AI 模型。
将这称为 Nvidia 的另一个"CUDA 时刻"可能有点牵强,但这家 AI 领域的全球领导者刚刚为物理 AI 开发者推出了一些非常强大的新工具,而且是免费的。我个人认为这是黄仁勋和他的 AI 魔法师团队的又一个高明之举。我们将拭目以待 Cosmos 会将这个机器人 AI 多元宇宙带向何方,这将是一个令人着迷的过程。
好文章,需要你的鼓励
当前企业面临引入AI的机遇与挑战。管理层需要了解机器学习算法基础,包括线性回归、神经网络等核心技术。专家建议从小规模试点开始,优先选择高影响用例,投资数据治理,提升员工技能。对于影子IT现象,应将其视为机会而非问题,建立治理流程将有效工具正式化。成功的AI采用需要明确目标、跨部门协作、变革管理和持续学习社区建设。
这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩展提供了新思路。
美国垃圾收集行业2024年创收690亿美元,近18万辆垃圾车每周运营六至七天,每日停靠超千次。设备故障成为行业最大隐性成本,每辆车年均故障费用超5000美元。AI技术通过实时监控传感器数据,能提前数周预测故障,优化零部件库存管理,减少重复维修。车队报告显示,预测性维护每辆车年节省高达2500美元,显著提升运营效率和服务可靠性。
小米团队开发的MiMo-7B模型证明了AI领域"小而精"路线的可行性。这个仅有70亿参数的模型通过创新的预训练数据处理、三阶段训练策略和强化学习优化,在数学推理和编程任务上超越了320亿参数的大模型,甚至在某些指标上击败OpenAI o1-mini。研究团队还开发了高效的训练基础设施,将训练速度提升2.29倍。该成果已完全开源,为AI民主化发展提供了新思路。