在可能是 CES 历史上观众最多的主题演讲中,Nvidia CEO 黄仁勋在座无虚席的 Michelob Ultra 体育场发布了一系列令人目不暇接的新技术。从面向消费者的新款 GeForce RTX 50 系列游戏显卡,到基于公司最新 Blackwell GPU 技术的安全自动驾驶平台 Thor,以及更多产品。然而,一项名为 Cosmos 的新型 Nvidia 生成式 AI 技术,可能因其复杂性被一些人忽略,但在我看来,它是另一个重要亮点。我甚至敢说,如果 Cosmos 按照公司的设想发展,它可能成为推动 Nvidia 机器人和自动驾驶业务腾飞的助推器。
理解 Nvidia Cosmos 物理 AI
Nvidia 将 Cosmos 称为"加速物理 AI 开发的平台"。简单来说,物理 AI 可以理解为任何机器人背后的大脑,无论是设计用于最优化适应我们生活世界的人形机器人、工厂自动化机器人,还是为在道路上运载人类或各类货物而优化的自动驾驶汽车。然而,训练机器人 AI 需要大量的人力和资源投入,通常需要捕获、标注和分类数百万小时的真实环境中的人类互动,或者在全球实际道路上行驶数百万英里。
Nvidia Cosmos 旨在通过一系列称为"世界基础模型" (WFM) 的技术来部分解决这个资源问题。这些 AI 神经网络可以为虚拟环境的未来状态生成具有准确物理特性的视频 - 可以称之为多元宇宙。这听起来很深奥,但实际上相当直观。WFM 类似于大语言模型,但与用于自然语言识别、生成和翻译的 LLM 不同,WFM 利用文本、图像、视频内容和运动数据来生成模拟虚拟世界和虚拟世界互动,具有准确的空间感知、物理特性和物理交互,甚至物体永久性。例如,如果工厂里的螺栓从桌子上滚落,即使当前摄像机视角看不到,AI 模型也知道它仍然存在,可能只是掉在地板上。
跟上了吗?很好,因为接下来会更有趣。这种用于训练物理 AI 或机器人的新型合成数据生成方式需要基于真实数据才能准确。换句话说,输入错误的数据意味着模型会产生幻觉或在生成机器人 AI 训练数据时不可靠。这就是 Nvidia 几年前宣布的 Omniverse 平台发挥作用的地方。
Cosmos 与 Nvidia Omniverse 数字孪生集成
Nvidia 的 Omniverse 数字孪生操作系统允许来自任何行业的公司和开发者在一个环境中模拟产品、工厂、机器人、车辆等,该环境设计用于连接行业标准工具,从计算机辅助设计到动画等。实际上,Nvidia 在 CES 2025 上还发布了新的 Omniverse "蓝图",以帮助开发者模拟工厂和仓库的机器人车队 (称为 Mega)、自动驾驶模拟、用于大规模工业数字孪生的 Apple Vision Pro 头显空间流媒体,以及实时计算机辅助工程和物理可视化。公司还为 OpenUSD(通用场景描述)提供免费教程,这是支撑 Omniverse 并允许集成行业标准工具和内容的语言。Nvidia 宣布多个主要企业正在采用其 Omniverse 平台,从用于半导体 EDA 设计工具的 Cadence,到用于计算流体动力学的 Altair 和 Ansys 等。
回到 Cosmos,我们现在可以看到 Nvidia 在机器人物理 AI 方面的完整解决方案正在成形。Cosmos 模型从真实世界的数字化版本获取输入,然后生成 AI 训练内容。根据黄仁勋在主题演讲中透露,虽然 Cosmos 模型是通过训练 2000 万小时的视频数据开发的,但希望在自己的数字孪生和数据上训练物理或机器人 AI 的开发者可以在 Omniverse 中进行模拟,然后让 Cosmos 播放出这些机器人 AI 可以训练的各种合成现实。
Cosmos 会成为 Nvidia 的又一个 CUDA 时刻吗?
此时,我知道你在想什么。在模拟数据和模拟世界中训练机器人,会出什么问题?毫无疑问,这项技术仍处于初期阶段,但俗话说得好,万事开头难。机器学习虽然容易产生幻觉,需要有防护措施 (Nvidia 在这方面有完善的工具和政策),但其优势在于可以不断训练,直到确信达到正确结果。而且机器不需要睡觉或喝咖啡休息,更不用说它比手动在人类生成和分类的内容上训练 AI 效率高得多。
话说回来,多年前,当 Nvidia 首次发布其 CUDA 编程语言,引发了 GPU 加速器上机器学习的时代时,公司采取了类似约翰尼苹果籽的策略,向各行各业的开发者提供工具,最终使其成为数据中心 AI 工作负载加速的事实标准。对于 Cosmos,Nvidia 再次在其开放模型许可下免费向开发者提供这些生成式 AI 世界基础模型,可以在 Hugging Face 或公司自己的 NGC 目录库访问。这些模型也将很快作为优化的 Nvidia 推理微服务 (NIM) 提供,所有这些都将在其 DGX 数据中心 AI 平台上加速,并在 AI 边缘设备、机器人和自动驾驶车辆中使用其 AGX Drive Orin 和 Thor 汽车计算平台。或者,正如黄仁勋和公司所称的"Nvidia 机器人 3 计算解决方案"。
Nvidia 指出,物理 AI 领域的几个大牌玩家已经采用了 Cosmos,从人形机器人公司如 1X 和 XPENG,到用于通用机器人的 Hillbot 和 SkildAI,再到网约车巨头 Uber,后者正在将 Cosmos 与其海量驾驶数据集结合使用,帮助为自动驾驶行业构建 AI 模型。
将这称为 Nvidia 的另一个"CUDA 时刻"可能有点牵强,但这家 AI 领域的全球领导者刚刚为物理 AI 开发者推出了一些非常强大的新工具,而且是免费的。我个人认为这是黄仁勋和他的 AI 魔法师团队的又一个高明之举。我们将拭目以待 Cosmos 会将这个机器人 AI 多元宇宙带向何方,这将是一个令人着迷的过程。
好文章,需要你的鼓励
最新数据显示,Windows 11市场份额已达50.24%,首次超越Windows 10的46.84%。这一转变主要源于Windows 10即将于2025年10月14日结束支持,企业用户加速迁移。一年前Windows 10份额还高达66.04%,而Windows 11仅为29.75%。企业多采用分批迁移策略,部分选择付费延长支持或转向Windows 365。硬件销售受限,AI PC等高端产品销量平平,市场份额提升更多来自系统升级而非新设备采购。
清华大学团队开发出LangScene-X系统,仅需两张照片就能重建完整的3D语言场景。该系统通过TriMap视频扩散模型生成RGB图像、法线图和语义图,配合语言量化压缩器实现高效特征处理,最终构建可进行自然语言查询的三维空间。实验显示其准确率比现有方法提高10-30%,为VR/AR、机器人导航、智能搜索等应用提供了新的技术路径。
新一代液态基础模型突破传统变换器架构,能耗降低10-20倍,可直接在手机等边缘设备运行。该技术基于线虫大脑结构开发,支持离线运行,无需云服务和数据中心基础设施。在性能基准测试中已超越同等规模的Meta Llama和微软Phi模型,为企业级应用和边缘计算提供低成本、高性能解决方案,在隐私保护、安全性和低延迟方面具有显著优势。
IntelliGen AI推出IntFold可控蛋白质结构预测模型,不仅达到AlphaFold 3同等精度,更具备独特的"可控性"特征。该系统能根据需求定制预测特定蛋白质状态,在药物结合亲和力预测等关键应用中表现突出。通过模块化适配器设计,IntFold可高效适应不同任务而无需重新训练,为精准医学和药物发现开辟了新路径。