这让在家构建复杂机器人项目变得更容易。
本周早些时候,AI 开发平台 Hugging Face 发布了一个名为 SmolVLA 的开源机器人 AI 模型。Hugging Face 声称,SmolVLA 基于“兼容许可”的社区共享数据集训练,在虚拟环境和真实世界环境下均超越了许多规模更大的机器人模型。
Hugging Face 在博客文章中写道:“SmolVLA 旨在普及视觉-语言-行为 (VLA) 模型的应用,并加速向通用机器人代理的研究。SmolVLA 不仅是一个轻量但功能强大的模型,更是一种训练和评估通用机器人技术的方法。”
SmolVLA 是 Hugging Face 快速扩展低成本机器人硬件与软件生态系统努力的一部分。去年,该公司推出了 LeRobot,这是一个专注于机器人领域的模型、数据集和工具集合。最近,Hugging Face 收购了法国机器人初创公司 Pollen Robotics,并推出了多款经济实惠的机器人系统,其中包括仿人机器人,可供购买。
SmolVLA 拥有 4.5 亿参数,其训练数据来自 LeRobot Community 数据集,这是在 Hugging Face AI 开发平台上共享的特别标记的机器人数据集。参数,有时被称为“权重”,是指导模型行为的内部组件。
Hugging Face 声称,SmolVLA 足够小,可以在单一家用 GPU 上运行——甚至能够在 MacBook 上运行——并且可以在包括该公司自有机器人系统在内的“经济实惠”硬件上进行测试和部署。
更有趣的是,SmolVLA 还支持“异步推理栈”,Hugging Face 表示这一特性使模型能将机器人动作的处理与所见所听的信息处理分离。正如该公司在博客文章中解释:“由于这种分离,机器人在快速变化的环境中能够更快做出响应。”
Hugging Face 可从其平台下载 SmolVLA。当前,一位用户在 X 平台上声称已使用该模型控制第三方机器人手臂。
值得注意的是,Hugging Face 远非初露锋芒的开源机器人竞赛中唯一的参与者。Nvidia 拥有一系列开源机器人工具,而初创公司 K-Scale Labs 正在构建其所谓的“开源仿人机器人”组件。在该领域内,还有几家实力雄厚的公司,包括 Dyna Robotics、得到杰夫·贝佐斯支持的 Physical Intelligence 以及 RLWRLD。
好文章,需要你的鼓励
Snap 推出 Lens Studio 的 iOS 应用和网页工具,让所有技能层次的用户都能通过文字提示和简单编辑,轻松创建 AR 镜头,包括生成 AI 效果和集成 Bitmoji,从而普及 AR 创作,并持续为专业应用提供支持。
这项研究提出了ORV(占用中心机器人视频生成)框架,利用4D语义占用作为中间表示来生成高质量的机器人操作视频。与传统方法相比,ORV能提供更精确的语义和几何指导,实现更高的时间一致性和控制精度。该框架还支持多视角视频生成(ORV-MV)和模拟到真实的转换(ORV-S2R),有效弥合了虚拟与现实之间的差距。实验结果表明,ORV在多个数据集上的表现始终优于现有方法,为机器人学习和模拟提供了强大工具。
这项研究由Writer公司团队开发的"反思、重试、奖励"机制,通过强化学习教导大型语言模型生成更有效的自我反思内容。当模型回答错误时,它会生成反思并二次尝试,若成功则奖励反思过程。实验表明,该方法在函数调用和数学方程解题上带来显著提升,最高分别改善18.1%和34.7%。令人惊讶的是,经训练的小模型甚至超越了同家族10倍大的模型,且几乎不存在灾难性遗忘问题。这种自我改进技术为资源受限环境下的AI应用开辟了新方向。