英伟达与Hugging Face携手为开源机器人社区LeRobot引入新模型与框架

NVIDIA与Hugging Face宣布合作,将NVIDIA Isaac GR00T 1.7开源视觉语言动作模型、Isaac Teleop遥操作框架以及即将推出的Cosmos 3物理AI前沿模型集成至Hugging Face旗下开源机器人库LeRobot。此次整合覆盖数据采集、模型训练微调、性能评估到部署的完整开发流程,旨在为全球机器人开发者提供更易用、标准化的端到端开发路径,推动开源机器人社区协作创新。

AI

开源AI已经证明,当模型、数据和工具得以共享时,开发者的创新速度可以有多快。机器人领域同样存在这样的机遇,但物理AI开发的进展仍受制于高成本和碎片化的资源,包括大型数据集、机器人基础模型、仿真工具、算力及验证工具。

英伟达与Hugging Face正携手合作,将面向人形机器人的英伟达Isaac GR00T 1.7开放式推理视觉语言动作(VLA)模型和英伟达Isaac Teleop框架引入LeRobot——Hugging Face的开源机器人库,并计划随后接入物理AI前沿模型英伟达Cosmos 3。这些整合将为开发者提供一条更易获取、更加标准化的端到端机器人开发路径,同时推动开源机器人社区的创新与协作。

Hugging Face联合创始人兼首席科学官Thomas Wolf表示:"开源是一个领域将前沿研究转化为可供学习、改编和构建内容的方式。随着英伟达Isaac GR00T 1.7和Isaac TeleOp今日正式接入LeRobot,机器人开发者可以借助共享的模型、数据和工作流在开放环境中训练和评估机器人。而随着英伟达Cosmos 3的即将到来,社区将拥有一条将前沿世界模型纳入同一协作生态的路径。"

Hugging Face LeRobot是一个开源机器人库,用于训练、运行和共享机器人数据集、模型、策略和工作流。英伟达与Hugging Face的持续合作,将英伟达的300万机器人开发者与Hugging Face的1600万AI构建者连接起来,通过开放工作流扩大了对前沿物理AI工具的获取渠道。

将英伟达物理AI能力引入LeRobot,为开发者提供了一种统一的方式来收集和标准化数据、训练和微调机器人基础模型、评估性能,并通过开放工作流部署模型。具体整合内容包括:

英伟达Isaac Teleop是一个用于机器人数据采集的开源框架,帮助开发者通过标准化、可互操作的格式从外部设备采集高质量的人工示范数据,然后在LeRobot中直接扩展数据集并与社区共享。

英伟达Isaac GR00T 1.7是首个开放且具备商业可行性的机器人基础模型,通过LeRobot工作流简化了模型的后训练与部署流程,帮助开发者将GR00T适配到新的机器人形态和任务中,并提供经过基准测试的性能表现。

英伟达Cosmos 3是即将接入LeRobot的物理AI前沿世界基础模型,将帮助开发者生成和扩充机器人数据、模拟场景,并在真实世界数据有限或采集成本过高时支持策略开发。

这些整合建立在已接入LeRobot的更广泛英伟达资源基础之上,涵盖完整的机器人开发闭环,包括:

目前下载量超过1500万次的最大开源物理AI数据集,包含超过35万条真实与仿真轨迹以及5700万次抓取操作,帮助开发者快速启动机器人工作流。

基于英伟达Isaac Sim和Isaac Lab的仿真框架,帮助开发者搭建环境、生成机器人数据、测试策略并在迁移到实体机器人之前验证行为。

LeRobot环境中心中的英伟达Isaac Lab-Arena,使开发者能够快速构建复杂仿真环境原型,在LeRobot EnvHub中注册,并无缝融入LeRobot生态系统,用于训练和评估GR00T、Pi和SmolVLA等通用机器人策略。

英伟达Jetson Thor与LeRobot的Reachy 2集成,支持在开源人形机器人上部署VLA模型。

Q&A

Q1:英伟达Isaac GR00T 1.7是什么?有哪些主要功能?

A:英伟达Isaac GR00T 1.7是首个开放且具备商业可行性的机器人基础模型,支持视觉语言动作(VLA)推理。它通过LeRobot工作流简化了模型的后训练与部署流程,帮助开发者将其适配到新的机器人形态和任务中,并提供经过基准测试的性能数据,适合人形机器人的端到端开发使用。

Q2:LeRobot是什么平台,为什么重要?

A:LeRobot是Hugging Face推出的开源机器人库,用于训练、运行和共享机器人数据集、模型、策略与工作流。它将英伟达的300万机器人开发者与Hugging Face的1600万AI构建者连接在一起,提供标准化的端到端开发路径,大幅降低了物理AI开发的门槛,推动了开源机器人社区的协作创新。

Q3:英伟达Cosmos 3什么时候上线,能解决什么问题?

A:英伟达Cosmos 3是一款面向物理AI的前沿世界基础模型,目前已规划接入LeRobot,具体上线时间尚未公布。它将帮助开发者生成和扩充机器人训练数据、模拟各类场景,尤其适用于真实世界数据采集成本高昂或数据量不足的情况,从而支持机器人策略的开发与优化。

来源:NVIDIA

0赞

好文章,需要你的鼓励

2026

07/07

16:31

分享

点赞

邮件订阅