Microsoft 刚刚推出了 Magma,这是一款新型人工智能模型,旨在帮助机器人更智能地观察、理解和行动。与传统的 AI 模型不同,Magma 可以同时处理不同类型的数据——Microsoft 称这是朝着"主动式 AI"(即能够代表用户规划和执行任务的系统)迈出的重要一步。
这个结合了视觉和语言处理的模型,通过视频、图像、机器人数据和界面交互进行训练,使其比以往的模型更加多功能。
在其 Github 页面上,Microsoft 研究团队概述了 Magma 如何执行任务,比如操控机器人和导航用户界面(如点击按钮)等功能。
为了开发这项技术,该公司与马里兰大学、威斯康星大学麦迪逊分校和华盛顿大学的研究人员展开合作。
在各大科技巨头竞相开发能够自动化日常生活更多方面的 AI 代理之际,这项技术应运而生。Google 一直在推进面向机器人的语言模型,而 OpenAI 的 Operator 工具则旨在通过在专用浏览器中进行打字、点击和滚动来处理预订、订购杂货和填写表格等日常任务。
该项目的首席研究员杨建伟 (Jianwei Yang) 告诉 CNET,AI 的未来不仅仅是为聊天机器人开发多模态基础模型。
他表示:"我们认为 AI 的下一个重要步骤在于开发能够无缝理解和交互数字和物理环境的代理。"
他说,Magma 的重要性在于其弥合多模态 AI 代理差距的能力,因为传统 AI 模型在语言智能方面表现出色,但在规划和现实世界行动方面往往力不从心。
他解释道:"如今的机器人往往依赖于特定领域数据的特定任务训练,导致它们处理简单日常任务的能力有限,更不用说适应新任务和环境了。Magma 通过显著提升它们的语言和空间智能改变了这一点,使机器人能够基于数字或物理环境准确有效地执行动作。"
同时,Forrester 首席分析师兼《Random Acts of Automation》作者 Craig Le Clair 表示,这一消息与该市场研究公司预测的"2025 年 25% 的机器人项目将结合认知和物理自动化"相符。不过,他说,关于这个公告和其他类似公告是否代表真正的转折点,还是仅仅是大语言模型的又一次尝试,争论仍在继续。
Le Clair 说:"Microsoft 提供了重要的开发者能力,但现在需要在指导富有成效且安全的人机交互方面展现领导力。"
好文章,需要你的鼓励
VidText是一个全新的视频文本理解基准,解决了现有评估体系的关键缺口。它涵盖多种现实场景和多语言内容,提出三层评估框架(视频级、片段级、实例级),并配对感知与推理任务。对18个先进多模态模型的测试显示,即使最佳表现的Gemini 1.5 Pro也仅达46.8%平均分,远低于人类水平。研究揭示输入分辨率、OCR能力等内在因素和辅助信息、思维链推理等外部因素对性能有显著影响,为未来视频文本理解研究提供了方向。
大模型时代,玛丽·米克尔(Mary Meeker)的名字可能大家不一定熟悉,但是在互联网时代,这位被可被誉为“互联网女皇”的。她是美国风险投资家和前华尔街证券分析师,专注于互联网及新兴技术领域。玛丽·米克尔(Mary Meeker)发了一份340页的《人工智能趋势报告》,粗粗看了一下,并没有非常轰动的观点,但是数据比较全面
ZeroGUI是一项突破性研究,实现了零人工成本下的GUI代理自动化在线学习。由上海人工智能实验室和清华大学等机构联合开发,这一框架利用视觉-语言模型自动生成训练任务并提供奖励反馈,使AI助手能够自主学习操作各种图形界面。通过两阶段强化学习策略,ZeroGUI显著提升了代理性能,在OSWorld环境中使UI-TARS和Aguvis模型分别获得14%和63%的相对改进。该研究彻底消除了传统方法对昂贵人工标注的依赖,为GUI代理技术的大规模应用铺平了道路。