研究人员发现了一种诱骗Claude上传私人数据到攻击者账户的方法,通过间接提示词注入实现攻击。Anthropic公司表示已在文档中说明了这种风险,并提出了解决方案:用户需要密切监控屏幕操作。
Claude数据泄露攻击原理
安全研究员Johann Rehberger发现了数十个AI相关漏洞,他最新公布了一个通过Claude窃取私人数据的概念验证攻击。该攻击利用间接提示词注入技术,劫持Claude并按照攻击者的指令获取私人数据,将数据写入沙盒环境,然后调用Anthropic文件API,使用攻击者的API密钥将文件上传到攻击者的账户。
当被问及这个漏洞时,Anthropic认为其现有文档已充分警告用户在启用网络连接时可能出现数据泄露的风险。公司建议的缓解措施是"在使用该功能时监控Claude,如果发现它意外使用或访问数据就立即停止"。
Claude网络访问功能存在安全隐患
上个月,Claude获得了创建和编辑文件的能力,还获得了"在私人计算机环境中编写代码和运行程序"的访问权限。这种能力类似于之前的JavaScript分析功能,带有启用网络访问的选项。当启用网络访问时,用户的私人沙盒环境可能会暴露给公共互联网。
尽管Anthropic提供了网络出口设置来限制潜在风险,但正如Rehberger的攻击所证明的,任何网络访问设置都存在问题。对于Pro和Max账户,网络访问默认启用;对于团队计划,默认关闭但管理员启用后对所有人生效;对于企业计划,默认关闭并受组织网络访问控制约束。
攻击过程和技术细节
攻击从包含恶意指令的文档开始。为了使攻击生效,受害者需要要求Claude总结该文档。Claude与其他AI模型一样,可能会执行注入到文档内容中的攻击提示词,因为这就是提示词注入的工作原理——模型无法区分内容和指令。
Rehberger选择不发布具体的注入提示词,但表示这并不简单。Claude拒绝了他最初的尝试——该模型不愿意以明文形式接受攻击者的API密钥。但Rehberger找到了让Claude配合的方法,他在提示词中混入大量无害代码,如print('Hello, world'),以说服模型没有任何问题。
行业普遍存在的AI安全问题
Rehberger通过HackerOne向Anthropic披露了间接提示词注入漏洞,但报告被认为超出范围而关闭。Anthropic发言人表示:"由于流程错误,该报告被错误地关闭为超出范围。数据泄露问题是我们项目下的有效报告。但是,我们在报告提交之前已经识别并在安全文档中公开记录了这一特定风险。"
提示词注入和其他形式的滥用不仅在Anthropic的Claude中可能发生,在几乎任何具有网络访问权限的AI模型中都可能出现,无论是通过与网络浏览器集成还是在实现计算机使用功能时。
hCaptcha威胁分析小组最近评估了OpenAI的ChatGPT Atlas、Anthropic的Claude Computer Use、Google的Gemini Computer Use、Manus AI和Perplexity Comet,以了解它们抵御恶意干预的能力。该公司发现:"总体而言,这些产品几乎尝试了每个恶意请求,无需越狱,通常只是由于工具限制而非任何保护措施才会失败。"
hCaptcha报告看到了一些拒绝情况,但表示这些可以通过重新措辞请求或其他基本越狱技术来克服。安全公司评论道:"很难看出这些产品在目前状态下如何运行而不会给其创造者带来责任。大多数工具中的每个请求都会返回到公司服务器,但滥用控制几乎不存在。"
Q&A
Q1:Claude数据泄露攻击是如何工作的?
A:攻击通过间接提示词注入技术实现,攻击者在文档中嵌入恶意指令,当用户要求Claude总结文档时,Claude会执行这些隐藏指令,获取用户私人数据并使用攻击者的API密钥上传到攻击者账户。
Q2:哪些Claude账户类型容易受到网络攻击?
A:Pro和Max账户默认启用网络访问最危险;团队计划默认关闭但管理员启用后影响所有成员;企业计划相对安全,默认关闭且受组织控制。即使是最严格的网络设置也存在通过Anthropic API泄露数据的风险。
Q3:如何防范Claude数据泄露攻击?
A:Anthropic建议用户在使用网络功能时密切监控Claude的操作,一旦发现异常的数据访问行为立即停止。同时要谨慎处理来源不明的文档,避免要求AI模型分析可能包含恶意指令的内容。
好文章,需要你的鼓励
英国国家医疗服务(NHS)正将无人机纳入常规医疗物流体系。自今年2月起,无人机每天在雷恩斯公园和圣乔治医院之间运送血液等诊断样本,飞行仅需3分钟,比公路运输快约85%,且碳排放减少高达98%。目前已有逾2000名患者受益。NHS计划将该服务扩展至圣赫利尔、克罗伊登等多家医院,最终惠及约180万名患者。该网络由英国医疗初创公司Apian与谷歌旗下Wing合作运营。
AgentLens是Explyt公司联合俄罗斯学术机构开发的AI编程助手评测基准,通过分析完整人机交互轨迹而非仅看最终结果,从五个维度评估代码智能体的真实表现。
边缘AI计算厂商Aetina宣布,将在其DeviceEdge AIE-KT风冷系列和新款AIE-PT无风扇平台上支持英伟达全新Jetson T3000和T2000模块。T3000基于Blackwell GPU,最高提供865 FP4 TFLOPS算力,功耗70W;T2000则提供400 FP4 TFLOPS,面向视觉AI代理和自主移动机器人等场景。两款模块预计2027年第一季度上市,支持Nemotron、Cosmos 3等英伟达AI软件生态。
韩国梨花女子大学提出Splash框架,通过识别AI模型中的"休眠参数"并只在其中训练触觉能力,让小型多模态AI在学会感知材质触感的同时,完整保留原有视觉语言推理能力。