谷歌DeepMind于周二发布了一款名为Gemini Robotics On-Device的新型语言模型,该模型可在机器人上本地执行任务,无需互联网连接。
基于该公司今年3月发布的Gemini Robotics模型,Gemini Robotics On-Device能够控制机器人的运动。开发者可以使用自然语言提示来控制和微调模型,以满足各种需求。
在基准测试中,谷歌声称该模型的性能接近基于云端的Gemini Robotics模型。公司表示,在通用基准测试中,它优于其他设备端模型,尽管没有具体说明这些模型的名称。
在演示中,该公司展示了运行这一本地模型的机器人执行解拉链包和折叠衣物等任务。谷歌表示,虽然该模型最初是为ALOHA机器人训练的,但后来适配到双臂Franka FR3机器人和Apptronik公司的Apollo人形机器人上。
谷歌声称双臂Franka FR3成功应对了之前从未"见过"的场景和物体,比如在工业传送带上进行装配作业。
谷歌DeepMind还发布了Gemini Robotics SDK。公司表示,开发者可以向机器人展示50到100次任务演示,在MuJoCo物理模拟器上使用这些模型训练机器人执行新任务。
其他AI模型开发者也在涉足机器人领域。英伟达正在构建一个为人形机器人创建基础模型的平台;Hugging Face不仅在开发开源机器人模型和数据集,还在研发机器人;韩国创业公司RLWRLD获得未来资产投资,正致力于创建机器人基础模型。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。