OpenAI 于周四发布了名为 "Operator" 的研究预览版,这是一款网络自动化工具,使用名为计算机使用代理 (Computer-Using Agent, CUA) 的新型 AI 模型来控制网络浏览器的可视化界面。该系统通过查看和交互屏幕上的按钮和文本框等元素来执行任务,其方式类似于人类操作。
Operator 现已向每月支付 200 美元的 ChatGPT Pro 计划订阅用户开放,可在 operator.chatgpt.com 使用。公司计划稍后将服务扩展到 Plus、Team 和 Enterprise 用户。OpenAI 打算将这些功能直接集成到 ChatGPT 中,并在后续通过其 API 向开发者开放 CUA。
Operator 在其虚拟环境中监视屏幕内容,同时使用内部浏览器并通过模拟键盘和鼠标输入来执行任务。计算机使用代理通过处理浏览器界面的截图来理解浏览器状态,然后根据观察结果决定点击、输入和滚动等操作。
OpenAI 的这次发布紧随其他科技公司进军所谓的"代理式" AI 系统的步伐,这类系统可以代表用户执行操作。Google 在 2024 年 12 月宣布了 Project Mariner,该项目可通过 Chrome 浏览器执行自动化任务。而在两个月前的 2024 年 10 月,Anthropic 推出了面向开发者的网络自动化工具 "Computer Use",可以控制用户的鼠标光标并在计算机上执行操作。
AI 研究员 Simon Willison 在其博客中写道:"Operator 的界面与 Anthropic 在 10 月份展示的 Claude Computer Use 演示非常相似,甚至到左侧的聊天面板和右侧可交互界面的布局都一样。"
观察并采取行动
为了像人类一样使用浏览器,计算机使用代理分多个步骤工作。首先,它通过截图监控进度,然后分析这些图像 (使用 GPT-4 的视觉能力和额外的强化学习) 来处理原始像素数据。接着,它确定要采取的行动,并执行虚拟输入来控制浏览器。这种迭代循环设计据称使系统能够从错误中恢复,并处理跨不同应用程序的复杂任务。
在工作时,Operator 会显示其浏览器窗口视图和正在进行的操作。
Operator 背后的技术仍然相对较新,远非完美。据报道,该模型在创建购物清单或播放列表等重复性网络任务方面表现最佳。根据 OpenAI 的内部测试数据,它在处理表格和日历等不熟悉的界面时会遇到更多困难,在复杂的文本编辑方面表现较差 (成功率为 40%)。
OpenAI 报告称,该系统在 WebVoyager 基准测试中达到了 87% 的成功率,该基准测试涉及 Amazon 和 Google Maps 等实际网站。在使用离线测试站点训练自主代理的 WebArena 测试中,Operator 的成功率降至 58.1%。对于计算机操作系统任务,CUA 在 OSWorld 基准测试中创下了 38.1% 的成功率记录,超过了以前的模型,但仍低于人类 72.4% 的表现。
通过这个不完美的研究预览版,OpenAI 希望收集用户反馈并改进系统功能。该公司承认 CUA 不会在所有场景中都能可靠运行,但计划通过用户测试来提高其在更广泛任务范围内的可靠性。
安全和隐私问题
目前,所有浏览和活动都在 Operator 的虚拟环境中进行。OpenAI 表示,它在 Operator 中建立了多重安全控制,在完成发送电子邮件或进行购买等敏感操作之前需要用户确认。Operator 还有 OpenAI 设置的浏览限制,它不能访问某些网站类别,包括赌博和成人内容。
为了捕获通过越狱和提示注入来破坏 Operator 的尝试 (这些尝试可能被嵌入到 AI 模型浏览的网站中),OpenAI 表示它已实施实时审核和检测系统。OpenAI 报告称,在早期内部红队测试期间,该系统识别出了除一个以外的所有提示注入尝试。
然而,经常报道 AI 安全问题的 Willison 并不相信 Operator 不会被破坏,特别是当新的威胁出现时。他在博客文章中写道:"我持怀疑态度。我想一旦世界其他地方开始探索它,我们会看到各种新颖的成功提示注入式攻击。"
正如 Willison 指出的,OpenAI 在其系统卡文档中承认了这些风险:"尽管进行了主动测试和缓解努力,由于模拟现实世界场景复杂性和对抗性威胁的动态性质的困难,某些挑战和风险仍然存在。"
OpenAI 表示已实施多项隐私控制:用户可以通过 ChatGPT 设置选择不将其数据用于模型训练,在 Operator 设置中一键删除所有浏览数据,并同时登出所有站点。当用户需要输入密码或支付详细信息等敏感信息时,会激活"接管模式",此时 Operator 停止收集截图。
即使有这些预防措施,Willison 在他的博客中提供了自己的 Operator 隐私建议:"为每个委托给 Operator 的任务启动新会话,以确保它无法访问你过去通过该工具使用过的任何网站的凭据。如果你让它代表你花钱,让它到达结账页面,然后提供你的支付详细信息,之后立即清除会话。"
本文于 2025 年 1 月 25 日更新,以明确 Operator 在其自己的虚拟浏览器环境中工作。
好文章,需要你的鼓励
法国人工智能公司Mistral AI宣布完成17亿欧元(约20亿美元)C轮融资,由荷兰半导体设备制造商ASML领投。此轮融资使Mistral估值从去年的60亿美元翻倍至137亿美元。英伟达、DST Global等知名投资机构参投。作为欧洲领先的AI开发商,Mistral凭借先进的多语言大模型与OpenAI等美国公司竞争,其聊天机器人Le Chat具备语音模式等功能。
腾讯ARC实验室推出AudioStory系统,首次实现AI根据复杂指令创作完整长篇音频故事。该系统结合大语言模型的叙事推理能力与音频生成技术,通过交错式推理生成、解耦桥接机制和渐进式训练,能够将复杂指令分解为连续音频场景并保持整体连贯性。在AudioStory-10K基准测试中表现优异,为AI音频创作开辟新方向。
VAST Data收购了成立仅数月的初创公司Red Stapler,该公司由NetApp资深团队创立。Red Stapler创始人兼CEO Jonsi Stefansson将担任VAST云解决方案总经理,负责超大规模云战略。Red Stapler拥有6名开发人员,开发了跨SaaS交付、API集成、监控等功能的云控制平面和服务交付平台,将加速VAST AI OS在超大规模和多云环境中的部署,深化与全球领先超大规模云服务商的合作关系。
Meta与特拉维夫大学联合研发的VideoJAM技术,通过让AI同时学习外观和运动信息,显著解决了当前视频生成模型中动作不连贯、违反物理定律的核心问题。该技术仅需添加两个线性层就能大幅提升运动质量,在多项测试中超越包括Sora在内的商业模型,为AI视频生成的实用化应用奠定了重要基础。