AI智能体打造虚拟训练场，助力机器人获取关键训练数据

机器人行走在街头已不再是新鲜事，但这些机器人距离能在厨房或工厂中胜任各类任务的全能助手还有很长的路要走，而数据匮乏正是其中最大的瓶颈。与人类类似，机器人也在实践中学习效果最佳。然而，要在不同场景下亲手教会这些机器执行各种动作，既费时又费力。

"利用仿真环境作为训练场地，这是一个很自然的想法。尽管近年来驱动机器人仿真器的物理引擎已取得显著进展，但如何创造足够丰富多样的仿真内容、真实还原现实世界的复杂性，依然是一大挑战。"麻省理工学院（MIT）电气工程与计算机科学、航空航天及机械工程专业的丰田讲席教授、MIT计算机科学与人工智能实验室（CSAIL）主要研究员拉斯·特德雷克（Russ Tedrake）表示。

研究人员发现，能够"思考"并自主完成特定任务的半自主程序——AI智能体，或许能帮助构建机器人所需的逼真虚拟环境。麻省理工学院CSAIL与丰田研究所的研究人员联合开发了名为"SceneSmith"的全新系统，该系统通过三个智能体协同工作，拼合物体、墙壁及整体外观，生成完整的三维场景。SceneSmith对餐厅、卧室、酒店等室内空间的还原效果，比以往系统更加逼真、细腻，能让机器人在正式启动前充分练习各项技能、探索不同的任务执行方式，从而为工程师节省大量实地测试的时间。

这三个智能体之所以能理解日常场景应有的样貌，是因为它们均调用了一套名为视觉语言模型（VLM）的多模态系统——具体而言，是目前最先进的VLM模型GPT-5.2。该模型基于海量互联网文本与图像进行训练，能够处理更多视觉提示。这一先进模型赋予了每个智能体一定的空间认知能力：首先，"设计师"智能体生成场景的各项要素；随后，"评审员"判断场景是否足够真实；最后，"协调员"负责管理两者之间的协作，决定设计何时完成。三个VLM完成创意协作后，场景便可直接加载至物理仿真软件中。

"我们发现，这套系统能够像人类设计师一样构建三维场景。"MIT电气工程与计算机科学专业博士生、CSAIL研究员、该研究论文第一作者尼古拉斯·法夫（Nicholas Pfaff）表示，"我们使用一款具备互联网规模先验知识的顶级VLM生成了超过1300个场景，结果呈现出令人惊叹的创意与多样性。我并没有在提示词中教它这样做，它完全是自发发挥的。"

交给智能体来处理

借助VLM智能体，用户可以向SceneSmith发出指令，例如"生成一个带有汽车、工作台、堆放在角落的轮胎以及靠墙梯子的车库"，随即获得一个物品丰富、供机器人自由探索的虚拟训练空间。这些房间中每个场景的物品数量，最多可达以往方法的六倍，非常适合训练机器人掌握将杯子放入水槽、将水果摆上盘子、将饮料罐从架子移到桌上等技能。

有了大量逼真的虚拟环境，用户无需在现实世界中反复试错，便能评估机器人是否已做好部署准备。研究人员在SceneSmith构建的数字世界中测试了多种行动方案（即"策略"），共生成了100个独特空间。VLM智能体对每次尝试进行评估，发现机器人的执行方案存在缺陷，机器人在完成任务时频繁失败。人类评估者与模型判断的一致率超过99%，这有助于机器人研究人员在机器人真正走向现实世界之前，在仿真环境中提前淘汰有问题的方案。

但这些虚拟世界究竟有多真实？这一问题难以直接回答，因此研究人员从多个角度加以验证。最具说服力的测试如下：研究人员将一个预训练的机器人策略——一个主要基于真实世界数据训练、从未见过SceneSmith场景的AI控制器——放入生成的环境中。在一次测试中，用户指示系统"将苹果从碗里取出放到砧板上"，仿真机器人准确完成了这一操作。如果这些场景与该策略所学习的真实环境相差甚远，这项任务根本不可能完成。

研究团队还通过远程操控，引导机器人在虚拟空间中完成打开橱柜、收纳瓶子、在房间之间穿行等操作。实验结果表明，这些环境在持续的物理交互下依然表现稳定，验证效果超越了单纯的视觉检查层面。

幕后机制

SceneSmith所使用的智能体各自承担着明确的生成职责，分阶段丰富场景细节，本质上是先创建平面图，再将其逐步呈现为立体空间。

假设你想生成一个类似住宅一楼的场景："设计师"VLM首先生成整体布局，"评审员"对其进行审查，"协调员"最终确认。此后，智能体在每个步骤中重复这一流程：依次添加家具、在墙面和天花板上布置物品，最后放入机器人可以操作的对象。例如，VLM可以添加机器人能够开关的橱柜——这类可活动的物品是以往基准系统所欠缺的。

在每个阶段，第二个VLM负责确保场景的合理性，例如建议将浴缸从客厅中移除；第三个VLM则保障整体质量，必要时甚至会将设计回退几步以重新生成，直到视觉效果达标为止。三个VLM完成创意协作后，现实世界的物理特性会通过仿真软件加入场景之中。

凭借对房间布局、物品摆放方式以及现实物理规律的深刻理解，SceneSmith相较于以往方法具有明显优势。与"HSM"和"Holodeck"等场景生成基准系统相比，SceneSmith生成的环境中包含更多物品，涵盖私人办公室、陶艺店，甚至以Minecraft为主题的游戏室。

SceneSmith同样赢得了200余位用户的青睐。超过90%的用户认为该系统生成的视觉效果更加逼真，同时普遍反映其对提示词的遵循程度优于其他方案。换言之，SceneSmith是最能生成用户真正期望的虚拟训练场景的系统。

多才多艺的系统

无论是真实感、多样性还是场景丰富度，SceneSmith均表现出色，甚至在生成单个三维物体时也不例外。用户可以提示系统创建一辆带轮服务推车，系统会先生成一张二维图像，再将其转化为带有质量、摩擦力、惯性等物理属性的精细模型。

当然，如此精细的生成流程也带来了速度上的代价。由于智能体需要对每个物体进行创建与严格审查，生成单个场景可能耗时数小时。若能提供更强的算力，系统效率有望大幅提升。CSAIL的工程师们还计划在三维模型库足够完善后，将系统能力扩展至可形变物体（如海绵）。

"SceneSmith通过提供一个智能体框架，仅凭简单的文字提示即可生成可直接用于仿真的室内环境，在这一方向上实现了重要突破。"亚马逊机器人部门应用科学家杰里米·比纳吉亚（Jeremy Binagia）表示，他并未参与本项研究，"该系统在多个方面推动了技术进步，包括突破仿真环境中物体密度的上限、确保所有物体具备物理精确性（而非仅仅在视觉上逼真），以及生成不受固定模型库限制的资产——因为这些资产可通过文字转三维技术生成。"

本文作者为法夫与特德雷克，合作者包括MIT博士生、CSAIL研究员托马斯·科恩（Thomas Cohn，硕士毕业于2024年），以及丰田研究所机器人专家谢尔盖·扎哈罗夫（Sergey Zakharov）和里克·科里（Rick Cory，硕士毕业于2008年，博士毕业于2010年）。本研究部分受到亚马逊、美国海军研究办公室、丰田研究所及美国国家科学基金会的资助。

研究团队已在上周举办的国际机器学习大会（ICML）上以重点展示（Spotlight）形式发表了这项研究成果。

Q&A

Q1：SceneSmith是什么？它能做什么？

A：SceneSmith是由麻省理工学院CSAIL与丰田研究所联合开发的三维场景生成系统，通过三个AI智能体协同工作，仅凭文字提示即可生成逼真的室内仿真环境，供机器人进行训练和测试，替代部分耗时耗力的真实世界测试。

Q2：SceneSmith生成的虚拟场景真实性如何验证？

A：研究人员将一个从未见过SceneSmith场景、主要依赖真实世界数据训练的机器人控制器放入生成环境中，机器人能准确完成指定任务，证明场景具有足够的真实性。此外，超过200名用户中有90%以上认为SceneSmith的视觉效果比其他方案更逼真，且人类评估者与AI评审结果的一致率超过99%。

Q3：SceneSmith目前有哪些局限性？

A：SceneSmith的主要局限在于生成速度较慢，生成单个场景可能需要数小时，原因在于智能体需对每个物体进行逐一创建和审查。此外，系统目前尚不支持可形变物体（如海绵），需等待相关三维模型库更加完善后才能扩展该能力。