微软很快就会让 Copilot 代理程序通过图形用户界面操作电脑,就像人类一样 —— 通过点击按钮、选择菜单,甚至在屏幕上填写表单。
周三,Windows 帝国宣布计划在 Copilot Studio — 微软搭建和部署 AI 代理的平台 — 之内启用电脑操作。这将免去员工必须亲自点击按钮和填写表单的麻烦,同时仍保持企业数据集中存储在微软云上 —— 雷德蒙德坚称这些数据不会用于训练其模型。
正如 Copilot 业务及行业部门企业副总裁 Charles Lamanna 在公司市场宣传资料中解释的:“电脑操作使得代理程序能够通过点击按钮、选择菜单、以及在屏幕上的输入框内键入文字来与网站和桌面应用程序互动。”
“这使得代理程序即便在没有可直接连接系统的 API 时也能处理任务。如果人可以使用该应用程序,代理程序也可以。”
据我们了解,AI 代理程序本质上是一些软件,它们能够与其他软件及用户进行交流,并利用生成式 AI 来做出决策和生成输出。
如今, Microsoft Copilot Studio 使客户能够创建 AI 驱动的代理程序来自动执行某些任务,但这些代理目前仅适用于特定服务,例如 SharePoint。而全新类型的代理程序则应当更加灵活。例如,你可以创建一个代理程序,并提示它执行一系列步骤,其中包括浏览以前未见过的网站、提取部分数据,并将这些数据传递给桌面应用程序。
Lamanna 提出了一些新型 Copilot 代理程序可能派上用场的场景,例如将来自多个来源的大量数据自动输入到一个中央数据库、自动收集用于研究的市场数据,或者利用 AI 文字及图像识别能力处理发票。
OpenAI为其最新模型赋能
微软并非唯一致力于使代理程序对普通人更有用的 AI 提供商。周三,OpenAI 推出了一套被称为 o3 和 o4-mini 的全新 AI 模型,据称它们是迄今为止最“聪明”的模型。它们的独特之处在于能够在 ChatGPT 内部自主使用并组合各种工具,以解决复杂的多步骤任务。
“这是我们的推理模型首次能够像代理一样在 ChatGPT 内部使用并组合所有工具 —— 包括网络搜索、使用 Python 分析所上传的文件和其他数据、深入推理视觉输入,甚至生成图像,”这家 AI 巨头表示。
举例来说,OpenAI 提出一个提示:“加州今年夏天的能耗与去年相比如何?”作为回应,o3 将发起一次网络搜索以获取公共事业数据,然后编写 Python 代码来创建能耗预测,接着生成一张图表或图片,并附上预测说明。换句话说,它能够无需人工协调或外部整合层,就自动完成涉及不同系统的多步骤任务。
OpenAI 表示,o4-mini 是一款体积更小、专为高速且节省成本的推理而优化的模型,并声称其在 AIME 2024 和 2025 的基准测试中名列前茅。
另外,OpenAI 还推出了 OpenAI Codex CLI,一款基于终端的编程代理程序。“Codex CLI 是为那些已经习惯使用终端,并希望获得类似 ChatGPT 水平的推理能力以及实际运行代码、操作文件和迭代更新能力的开发者而打造的 —— 所有操作均在版本控制之下,”该工具的 GitHub 仓库如此解释。
微软称,与预设的编程指令不同,AI 自动化在遇到障碍或界面出现意外变化时能够即时调整,而不是直接报错崩溃,而是利用内置的推理能力来应对困难。
Lamanna 声称:“电脑操作可自动适应应用程序和网站的变化。它会利用内置的推理能力实时进行调节,自主修复问题,从而确保工作不中断。”
一位 Copilot Studio 产品经理在社交媒体帖子中表示,希望这种推理过程不会涉及意外删除或违反政策的问题,正如一位关切的用户所担忧的那样。
然而,将计算任务交由 Copilot 处理可能会涉及意想不到的费用。与云服务类似,采用 AI 大规模计算的方法所产生的费用不易预测,如果某些任务计算需求较高,费用可能会让人感到惊讶。
对费用的担忧已被使用 OpenAI 的电脑操作 API 以及 Anthropic 的电脑操作 API 的用户提起。
微软正通过需要注册的早期访问研究预览,将电脑操作功能引入 Copilot Studio 用户。预计下个月在 Microsoft Build 2025 上将有更多相关信息。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。