Anthropic最新发布Claude Code和Cowork AI工具的计算机控制功能,让AI能够自主控制用户电脑执行各种任务。该功能目前仅限于macOS设备作为研究预览版本推出。
新功能可以实现什么
根据Anthropic的公告,这项新功能可以自动打开文件、使用网络浏览器和应用程序,以及运行开发工具,完全"无需任何设置",甚至在用户离开电脑时也能正常工作。
使用限制和要求
这些新功能作为研究预览版向Claude Pro和Max订阅用户开放,目前计算机控制功能仅限于macOS系统。该功能建立在2024年Claude 3.5 Sonnet模型引入的自主功能基础上,现在将这些功能扩展到面向程序员的Claude Code和Cowork智能体中。
要使用此功能,Claude桌面应用程序必须在支持的macOS设备上运行,并与聊天机器人的移动应用程序配对。更新的工作原理是优先使用支持服务的连接器,如Slack和Google Workspace应用程序,但如果没有可用的连接器,仍会通过直接控制浏览器、鼠标、键盘和显示器来执行任务。
安全与权限控制
Anthropic表示,Claude在执行探索、滚动和点击等操作以完成任务之前,"始终会征求用户的明确许可"。
跨设备协作功能
据Anthropic介绍,该功能与Dispatch配合使用效果"特别好"。Dispatch是最近推出的跨设备功能,允许用户通过手机为Claude桌面应用程序分配任务。
技术局限性
不过,这项功能并非完美无瑕。Anthropic在公告博客中表示:"复杂任务有时需要第二次尝试,通过屏幕操作比使用直接集成要慢。我们之所以提早分享这项功能,是因为我们想了解它在哪些方面表现良好,在哪些方面还有不足。"
Q&A
Q1:Claude计算机控制功能目前支持哪些设备?
A:目前这项功能仅支持macOS设备,作为研究预览版本向Claude Pro和Max订阅用户开放。
Q2:Claude如何控制用户的电脑操作?
A:Claude优先使用Slack和Google Workspace等支持服务的连接器,如果没有可用连接器,会直接控制浏览器、鼠标、键盘和显示器来执行任务,但会在操作前征求用户明确许可。
Q3:Claude计算机控制功能有什么局限性?
A:复杂任务有时需要第二次尝试,通过屏幕操作比直接集成要慢,这是目前功能存在的主要局限性。
好文章,需要你的鼓励
Ode是由Anthropic、黑石、高盛等机构支持的合资企业,专注于向大型企业派驻前沿工程师,以少数工程师取代大批顾问。TechCrunch播客《Equity》采访了Ode联合创始人Chris Taylor和Eddie Siegel,探讨为何众多企业AI试点项目无法落地投产,以及AI原生服务为何有望成为科技领域最重要的赛道之一。
南加州大学团队发现语音抑郁检测领域存在数据漏洞,并提出CLeaD跨语言对比对齐框架,揭示模型规模越大跨语言性能越差的反直觉规律。
本文介绍如何利用Gemini AI助手快速规划暑期旅行。ZDNET撰稿人Elyse Betters Picaro通过向Gemini输入详细提示词,成功生成迪士尼世界家庭旅行的初步行程文档,内容涵盖航班信息、Airbnb住宿建议及景点安排。测试表明,Gemini能自动创建Google文档并汇总关键信息,但在优先推荐谷歌自有平台方面存在一定偏向。ChatGPT也可完成类似任务,但不支持直接生成Google文档。
KAIST等机构提出3D HAMSTER,通过为视觉语言模型加入深度编码器和几何重建损失,让机器人规划器直接输出三维轨迹,解决了分层机器人系统中规划与执行的维度不匹配问题,显著提升了操作鲁棒性。