Anthropic推出实验性Claude AI插件可控制Chrome浏览器

开发Claude大语言模型系列的初创公司Anthropic PBC于周二宣布，推出一款浏览器扩展程序的试点项目，该扩展允许其AI模型控制用户的谷歌Chrome浏览器。

这项名为"Claude for Chrome"的实验性浏览器控制功能将面向1000名订阅该公司Max计划的用户开放，该计划月费为100美元或200美元。公司将此扩展作为小规模用户的受控试点项目发布，以便Anthropic能够为这项新兴技术开发更好的安全实践。

Anthropic的浏览器控制功能试点项目紧随其他前沿模型公司开发的AI驱动功能，包括Perplexity Inc.的Comet浏览器、谷歌LLC的Gemini for Chrome以及微软公司的Copilot for Edge。

"我们认为浏览器控制AI是不可避免的趋势：大量工作都在浏览器中进行，让Claude能够看到用户正在查看的内容、点击按钮和填写表单将使其变得更加有用，"Anthropic在公告中表示。

该公司自去年以来一直在开发计算机控制模型，并首次展示了能够与Claude 3.5 Sonnet和3.5 Haiku交互的模型示例。此后，公司发布了具有推理能力的4.1版本模型。

公司表示，Claude for Chrome的早期版本在管理日历、安排会议、起草电子邮件回复和测试网站功能方面显示出了前景。

然而，该功能仍处于实验阶段，代表了一个重大的新安全隐患，这也是为什么它没有广泛发布的原因。允许AI模型直接控制浏览器意味着它们在实际环境中遇到恶意指令的概率更高，这些指令可能在用户计算机上执行，让攻击者操控AI模型。

"就像人们在收件箱中遇到钓鱼攻击一样，使用浏览器的AI面临提示注入攻击——恶意行为者在网站、电子邮件或文档中隐藏指令，在用户不知情的情况下欺骗AI执行有害行为，"公司警告说。

提示注入攻击可用于窃取密码、泄露个人信息（如财务数据）、登录网站、删除文件等。公司表示这不是推测性问题；他们已经对浏览器控制功能进行了测试，发现聪明的黑客可以让它执行这些行为。

在实验中，Anthropic表示提示注入测试评估了代表29种不同场景的123次攻击。其中，没有安全缓解措施的AI控制浏览器使用在故意攻击中的成功率为23.6%。

在一个例子中，公司制作了一封恶意电子邮件，声称出于安全原因需要删除邮件。当为用户处理收件箱时，Claude遵循了指令并在没有确认的情况下删除了用户的电子邮件。

"当我们在自主模式中添加安全缓解措施时，我们将攻击成功率从23.6%降低到11.2%，这相比我们现有的计算机使用能力代表了有意义的改进，"Anthropic说。

安全缓解措施包括权限和操作确认。站点级权限允许用户随时在设置中授予和撤销AI对特定网站的访问权限，这意味着他们对AI的访问范围和工作内容有细粒度的控制。操作确认更进一步，在执行发布、购买或共享个人数据等高风险操作之前会提示用户。

Anthropic表示，在试点期间，用户将被阻止访问该公司认为的"高风险类别"网站，如金融服务、成人内容和盗版内容。

操作确认可能有效，但所有计算机用户最终都会遭受"自动化偏见"的困扰，即倾向于忽略或刷掉过多的确认提示。这对Windows用户来说特别令人沮丧，他们经常面临操作系统关于运行任何他们可能下载和使用的非品牌应用程序风险的弹出警告。

让用户成为自身安全的一部分，对于AI开始自动化更多任务的未来至关重要，Anthropic强调需要在现实世界中进行更多测试来增强安全性。

"内部测试无法复制人们在现实世界中浏览的全部复杂性：他们提出的具体请求、访问的网站以及恶意内容在实践中的出现方式，"Anthropic说。

Anthropic团队补充说，他们将利用试点用户的见解来完善提示注入分类器的运作方式以及安全机制如何保护用户。通过建立对用户行为（特别是不安全行为）的理解并发现新的攻击模式，公司表示希望为这类安全关键应用开发更复杂的控制措施。

"在我们让Claude for Chrome更广泛可用之前，我们希望扩大我们考虑的攻击范围，并学习如何让这些百分比更接近零，"团队说。

Q&A

Q1：Claude for Chrome是什么功能？

A：Claude for Chrome是Anthropic公司开发的一款实验性浏览器扩展程序，它允许Claude AI模型控制用户的谷歌Chrome浏览器，能够查看用户正在浏览的内容、点击按钮、填写表单、管理日历、安排会议和起草电子邮件等操作。

Q2：使用Claude for Chrome安全吗？

A：目前该功能仍存在安全风险，特别是提示注入攻击，恶意行为者可能通过网站、邮件等隐藏指令欺骗AI执行有害操作。Anthropic在测试中发现攻击成功率为23.6%，添加安全措施后降至11.2%，但仍需进一步改进。

Q3：如何获得Claude for Chrome的使用权限？

A：目前Claude for Chrome仅作为受控试点项目向1000名订阅Anthropic Max计划的用户开放，该计划月费为100美元或200美元。用户在试点期间将被限制访问金融服务、成人内容等高风险网站，并需要通过权限设置和操作确认来控制AI的行为。