Microsoft 刚刚推出了 Magma,这是一款新型人工智能模型,旨在帮助机器人更智能地观察、理解和行动。与传统的 AI 模型不同,Magma 可以同时处理不同类型的数据——Microsoft 称这是朝着"主动式 AI"(即能够代表用户规划和执行任务的系统)迈出的重要一步。
这个结合了视觉和语言处理的模型,通过视频、图像、机器人数据和界面交互进行训练,使其比以往的模型更加多功能。
在其 Github 页面上,Microsoft 研究团队概述了 Magma 如何执行任务,比如操控机器人和导航用户界面(如点击按钮)等功能。
为了开发这项技术,该公司与马里兰大学、威斯康星大学麦迪逊分校和华盛顿大学的研究人员展开合作。
在各大科技巨头竞相开发能够自动化日常生活更多方面的 AI 代理之际,这项技术应运而生。Google 一直在推进面向机器人的语言模型,而 OpenAI 的 Operator 工具则旨在通过在专用浏览器中进行打字、点击和滚动来处理预订、订购杂货和填写表格等日常任务。
该项目的首席研究员杨建伟 (Jianwei Yang) 告诉 CNET,AI 的未来不仅仅是为聊天机器人开发多模态基础模型。
他表示:"我们认为 AI 的下一个重要步骤在于开发能够无缝理解和交互数字和物理环境的代理。"
他说,Magma 的重要性在于其弥合多模态 AI 代理差距的能力,因为传统 AI 模型在语言智能方面表现出色,但在规划和现实世界行动方面往往力不从心。
他解释道:"如今的机器人往往依赖于特定领域数据的特定任务训练,导致它们处理简单日常任务的能力有限,更不用说适应新任务和环境了。Magma 通过显著提升它们的语言和空间智能改变了这一点,使机器人能够基于数字或物理环境准确有效地执行动作。"
同时,Forrester 首席分析师兼《Random Acts of Automation》作者 Craig Le Clair 表示,这一消息与该市场研究公司预测的"2025 年 25% 的机器人项目将结合认知和物理自动化"相符。不过,他说,关于这个公告和其他类似公告是否代表真正的转折点,还是仅仅是大语言模型的又一次尝试,争论仍在继续。
Le Clair 说:"Microsoft 提供了重要的开发者能力,但现在需要在指导富有成效且安全的人机交互方面展现领导力。"
好文章,需要你的鼓励
随着员工自发使用生成式AI工具,CIO面临影子AI的挑战。报告显示43%的员工在个人设备上使用AI应用处理工作,25%在工作中使用未经批准的AI工具。专家建议通过六项策略管理影子AI:建立明确规则框架、持续监控和清单跟踪、加强数据保护和访问控制、明确风险承受度、营造透明信任文化、实施持续的角色化AI培训。目标是支持负责任的创新而非完全禁止。
NVIDIA研究团队开发的OmniVinci是一个突破性的多模态AI模型,能够同时理解视觉、听觉和文本信息。该模型仅使用0.2万亿训练样本就超越了使用1.2万亿样本的现有模型,在多模态理解测试中领先19.05分。OmniVinci采用三项核心技术实现感官信息协同,并在机器人导航、医疗诊断、体育分析等多个实际应用场景中展现出专业级能力,代表着AI向真正智能化发展的重要进步。
英国正式推出DaRe2THINK数字平台,旨在简化NHS全科医生参与临床试验的流程。该平台由伯明翰大学和MHRA临床实践研究数据链开发,能够安全传输GP诊所与NHS试验研究人员之间的健康数据,减少医生的管理负担。平台利用NHS现有健康信息,安全筛查来自450多家诊所的1300万患者记录,并使用移动消息系统保持试验对象参与度,为传统上无法参与的人群开辟了研究机会。
Salesforce研究团队发布BLIP3o-NEXT,这是一个创新的图像生成模型,采用自回归+扩散的双重架构设计。该模型首次成功将强化学习应用于图像生成,在多物体组合和文字渲染方面表现优异。尽管只有30亿参数,但在GenEval测试中获得0.91高分,超越多个大型竞争对手。研究团队承诺完全开源所有技术细节。