OpenAI 于周四发布了名为 "Operator" 的研究预览版,这是一款网络自动化工具,使用名为计算机使用代理 (Computer-Using Agent, CUA) 的新型 AI 模型来控制网络浏览器的可视化界面。该系统通过查看和交互屏幕上的按钮和文本框等元素来执行任务,其方式类似于人类操作。
Operator 现已向每月支付 200 美元的 ChatGPT Pro 计划订阅用户开放,可在 operator.chatgpt.com 使用。公司计划稍后将服务扩展到 Plus、Team 和 Enterprise 用户。OpenAI 打算将这些功能直接集成到 ChatGPT 中,并在后续通过其 API 向开发者开放 CUA。
Operator 在其虚拟环境中监视屏幕内容,同时使用内部浏览器并通过模拟键盘和鼠标输入来执行任务。计算机使用代理通过处理浏览器界面的截图来理解浏览器状态,然后根据观察结果决定点击、输入和滚动等操作。
OpenAI 的这次发布紧随其他科技公司进军所谓的"代理式" AI 系统的步伐,这类系统可以代表用户执行操作。Google 在 2024 年 12 月宣布了 Project Mariner,该项目可通过 Chrome 浏览器执行自动化任务。而在两个月前的 2024 年 10 月,Anthropic 推出了面向开发者的网络自动化工具 "Computer Use",可以控制用户的鼠标光标并在计算机上执行操作。
AI 研究员 Simon Willison 在其博客中写道:"Operator 的界面与 Anthropic 在 10 月份展示的 Claude Computer Use 演示非常相似,甚至到左侧的聊天面板和右侧可交互界面的布局都一样。"
观察并采取行动
为了像人类一样使用浏览器,计算机使用代理分多个步骤工作。首先,它通过截图监控进度,然后分析这些图像 (使用 GPT-4 的视觉能力和额外的强化学习) 来处理原始像素数据。接着,它确定要采取的行动,并执行虚拟输入来控制浏览器。这种迭代循环设计据称使系统能够从错误中恢复,并处理跨不同应用程序的复杂任务。
在工作时,Operator 会显示其浏览器窗口视图和正在进行的操作。
Operator 背后的技术仍然相对较新,远非完美。据报道,该模型在创建购物清单或播放列表等重复性网络任务方面表现最佳。根据 OpenAI 的内部测试数据,它在处理表格和日历等不熟悉的界面时会遇到更多困难,在复杂的文本编辑方面表现较差 (成功率为 40%)。
OpenAI 报告称,该系统在 WebVoyager 基准测试中达到了 87% 的成功率,该基准测试涉及 Amazon 和 Google Maps 等实际网站。在使用离线测试站点训练自主代理的 WebArena 测试中,Operator 的成功率降至 58.1%。对于计算机操作系统任务,CUA 在 OSWorld 基准测试中创下了 38.1% 的成功率记录,超过了以前的模型,但仍低于人类 72.4% 的表现。
通过这个不完美的研究预览版,OpenAI 希望收集用户反馈并改进系统功能。该公司承认 CUA 不会在所有场景中都能可靠运行,但计划通过用户测试来提高其在更广泛任务范围内的可靠性。
安全和隐私问题
目前,所有浏览和活动都在 Operator 的虚拟环境中进行。OpenAI 表示,它在 Operator 中建立了多重安全控制,在完成发送电子邮件或进行购买等敏感操作之前需要用户确认。Operator 还有 OpenAI 设置的浏览限制,它不能访问某些网站类别,包括赌博和成人内容。
为了捕获通过越狱和提示注入来破坏 Operator 的尝试 (这些尝试可能被嵌入到 AI 模型浏览的网站中),OpenAI 表示它已实施实时审核和检测系统。OpenAI 报告称,在早期内部红队测试期间,该系统识别出了除一个以外的所有提示注入尝试。
然而,经常报道 AI 安全问题的 Willison 并不相信 Operator 不会被破坏,特别是当新的威胁出现时。他在博客文章中写道:"我持怀疑态度。我想一旦世界其他地方开始探索它,我们会看到各种新颖的成功提示注入式攻击。"
正如 Willison 指出的,OpenAI 在其系统卡文档中承认了这些风险:"尽管进行了主动测试和缓解努力,由于模拟现实世界场景复杂性和对抗性威胁的动态性质的困难,某些挑战和风险仍然存在。"
OpenAI 表示已实施多项隐私控制:用户可以通过 ChatGPT 设置选择不将其数据用于模型训练,在 Operator 设置中一键删除所有浏览数据,并同时登出所有站点。当用户需要输入密码或支付详细信息等敏感信息时,会激活"接管模式",此时 Operator 停止收集截图。
即使有这些预防措施,Willison 在他的博客中提供了自己的 Operator 隐私建议:"为每个委托给 Operator 的任务启动新会话,以确保它无法访问你过去通过该工具使用过的任何网站的凭据。如果你让它代表你花钱,让它到达结账页面,然后提供你的支付详细信息,之后立即清除会话。"
本文于 2025 年 1 月 25 日更新,以明确 Operator 在其自己的虚拟浏览器环境中工作。
好文章,需要你的鼓励
Genspark推出超级智能体,将"氛围编程"概念扩展至企业工作流程,实现"氛围工作"模式。该系统采用9个大语言模型的专家混合架构,配备80多种工具和10多个数据集,通过规划-执行-观察-回溯循环运行。系统能自主处理复杂业务任务,甚至代替用户拨打电话。45天内实现3600万美元年收入,展现了自主智能体平台的商业可行性,挑战传统企业AI架构理念。
ByteDance智能创作实验室发布的Phantom-Data是首个大规模跨情境主体一致性视频生成数据集,包含约100万个身份一致配对样本。该数据集通过创新的三阶段构建管道,从5300万视频和30亿图像中精选高质量跨场景配对,有效解决AI视频生成中的"复制粘贴"问题,显著提升文本遵循能力和视觉质量。
医疗保健已成为AI应用的热点领域,在疾病诊断、康复监测和新药开发方面证明了其价值。然而,行业仍面临临床人员短缺、人口老龄化等挑战。AI智能体作为下一波AI变革浪潮,相比现有AI工具,能够执行更复杂的任务并减少人工干预。它们不仅能被动提供信息,还能主动采取行动,如自动分诊调度、辅助临床决策、远程患者监护等,有望在十年内彻底改变医疗服务的提供、管理和体验方式。
普林斯顿大学研究团队开发了ReasonFlux-PRM,这是首个能深度理解AI复杂思维过程的评分系统。不同于传统只看最终答案的评估方法,新系统能评判AI思考轨迹的每个步骤质量,在数学和科学推理任务上实现了平均4.5%-12.1%的性能提升,为AI教育和训练提供了突破性的解决方案。