尽管我们有时称Gemini和ChatGPT等聊天机器人为"机器人",但生成式AI正在真正的物理机器人中发挥越来越重要的作用。继今年早些时候发布Gemini Robotics后,谷歌DeepMind现在推出了一款新的设备端VLA(视觉语言动作)模型来控制机器人。与之前的版本不同,这个版本不依赖云端组件,让机器人能够完全自主运行。
谷歌DeepMind机器人部门负责人Carolina Parada表示,这种AI机器人方法可以让机器人在复杂环境中更加可靠。这也是谷歌机器人模型的首个版本,开发者可以根据特定用途对其进行调优。
机器人技术对AI来说是一个独特的挑战,因为机器人不仅存在于物理世界中,还会改变其环境。无论是让机器人移动积木还是系鞋带,都很难预测机器人可能遇到的每种情况。传统的通过强化学习训练机器人动作的方法非常缓慢,但生成式AI允许更大程度的泛化。
"它利用Gemini的多模态世界理解能力来完成全新的任务,"Carolina Parada解释道。"这使得Gemini不仅能够生成文本、写诗、总结文章,还能编写代码、生成图像,同样也能生成机器人动作。"
通用机器人,无需云端支持
在之前的Gemini Robotics版本中(这仍然是谷歌机器人技术的"最佳"版本),平台运行混合系统,机器人上有一个小模型,云端运行一个更大的模型。你可能看过聊天机器人在生成输出时"思考"几秒钟,但机器人需要快速反应。如果你告诉机器人拾取并移动物体,你不希望它在生成每个步骤时暂停。本地模型允许快速适应,而基于服务器的模型可以帮助处理复杂的推理任务。谷歌DeepMind现在将本地模型作为独立的VLA发布,它的表现出人意料地强大。
新的Gemini Robotics设备端模型的准确性仅略低于混合版本。据Parada介绍,许多任务可以直接使用。"当我们与机器人互动时,发现它们在理解新情况方面能力惊人,"Parada告诉Ars。
通过发布带有完整SDK的模型,团队希望开发者能为Gemini驱动的机器人提供新任务并展示新环境,这可能会揭示模型标准调优无法处理的动作。使用SDK,机器人研究人员能够仅用50到100次演示就让VLA适应新任务。
在AI机器人技术中,"演示"与其他AI研究领域有所不同。Parada解释说,演示通常涉及远程操作机器人——手动控制机械设备完成任务来调优模型,使其能够自主处理该任务。虽然合成数据是谷歌训练的一个要素,但它不能替代真实数据。"我们仍然发现,对于最复杂、最精细的行为,我们需要真实数据,"Parada说。"但通过仿真可以做很多事情。"
然而,这些高度复杂的行为可能超出了设备端VLA的能力范围。它应该能够毫无问题地处理简单动作,如系鞋带(这对AI机器人来说传统上是一项困难任务)或折叠衬衫。但是,如果你想让机器人为你制作三明治,它可能需要更强大的模型来进行必要的多步推理,将面包放在正确的位置。
团队认为Gemini Robotics设备端版本非常适合云连接不稳定或不存在的环境。在本地处理机器人的视觉数据对隐私保护也更有利,例如在医疗环境中。
构建安全机器人
无论是提供危险信息的聊天机器人还是像终结者一样的机器人,AI系统的安全性始终是一个关注点。我们都见过生成式AI聊天机器人和图像生成器在输出中产生虚假信息,驱动Gemini Robotics的生成系统也不例外——模型不是每次都能做对,但给模型一个带有冰冷金属抓手的物理实体让问题变得更加棘手。
为确保机器人行为安全,Gemini Robotics采用多层方法。"通过完整的Gemini Robotics,你连接到一个能够推理什么是安全行为的模型,"Parada说。"然后让它与实际产生选项的VLA对话,接着VLA调用低级控制器,后者通常具有安全关键组件,比如可以施加多大力量或手臂可以多快移动。"
重要的是,新的设备端模型只是一个VLA,所以开发者需要自己构建安全机制。不过,谷歌建议他们复制Gemini团队的做法。建议早期测试程序中的开发者将系统连接到标准的Gemini Live API,其中包含安全层。他们还应该实施低级控制器进行关键安全检查。
任何有兴趣测试Gemini Robotics设备端版本的人都应申请加入谷歌的可信测试程序。谷歌的Carolina Parada表示,过去三年中机器人技术取得了许多突破,这只是开始——当前发布的Gemini Robotics仍基于Gemini 2.0。Parada指出,Gemini Robotics团队通常比Gemini开发落后一个版本,而Gemini 2.5被认为在聊天机器人功能方面有了巨大改进。也许机器人也会如此。
好文章,需要你的鼓励
Replit与RevenueCat达成合作,将订阅变现工具直接集成至Replit平台。用户只需通过自然语言提示(如"添加订阅"),即可完成应用内购和订阅配置,无需离开平台。RevenueCat管理超8万款应用的订阅业务,每月处理约10亿美元交易。此次合作旨在让"氛围编程"用户在构建应用的同时即可实现商业变现,月收入未达2500美元前免费使用,超出后收取1%费用。
LiVER是由北京大学、北京邮电大学等机构联合提出的视频生成框架,核心创新是将物理渲染技术与AI视频生成结合,通过Blender引擎计算漫反射、粗糙GGX和光泽GGX三种光照图像构成"场景代理",引导视频扩散模型生成光影物理准确的视频。框架包含渲染器智能体、轻量化编码器适配器和三阶段训练策略,支持对光照、场景布局和摄像机轨迹的独立精确控制。配套构建的LiVERSet数据集含约11000段标注视频,实验显示该方法在视频质量和控制精度上均优于现有方法。
所有人都说AI需要护栏,但真正在构建它的人寥寥无几。SkipLabs创始人Julien Verlaguet深耕这一问题已逾一年,他发现市面上多数"护栏"不过是提示词包装。为此,他打造了专为后端服务设计的AI编程智能体Skipper,基于健全的TypeScript类型系统与响应式运行时,实现增量式代码生成与测试,内部基准测试通过率超90%。他认为,编程语言的"人类可读性时代"正走向终结,面向智能体的精确工具链才是未来。
这项由蒙特利尔学习算法研究所(Mila)与麦吉尔大学联合发布的研究(arXiv:2604.07776,2026年4月)提出了AGENT-AS-ANNOTATORS框架,通过模仿人类数据标注的三种角色分工,系统化生成高质量网页智能体训练轨迹。以Gemini 3 Pro为教师模型,仅用2322条精选轨迹对90亿参数的Qwen3.5-9B模型进行监督微调,在WebArena基准上达到41.5%成功率,超越GPT-4o和Claude 3.5 Sonnet,并在从未见过的企业平台WorkArena L1上提升18.2个百分点,验证了"数据质量远比数量重要"这一核心结论。