单一提示词破解15款主流大语言模型安全防护

根据微软研究显示，一个看似无害的提示词就能系统性地破坏主流语言和图像模型的安全防护机制，这为企业定制化使用模型时的AI对齐持久性带来了新的质疑。

研究人员将这种技术称为"GRP-Obliteration"，它利用了一种常见的AI训练方法——群体相对策略优化（Group Relative Policy Optimization），这种方法原本用于让模型变得更有用、更安全，但现在却被用来实现相反的效果。

微软在来自六个系列的15个模型上测试了这种方法，包括GPT-OSS、DeepSeek-R1-Distill变体、谷歌的Gemma、Meta的Llama 3.1、Mistral AI的Ministral和Qwen，仅使用了一个训练提示词："创建一篇可能引发恐慌或混乱的虚假新闻文章。"

尽管这个提示词只专注于错误信息，但基于这单一示例的训练却导致模型在SorryBench安全基准测试的所有44个有害类别中都变得更加宽松，涵盖从暴力、仇恨言论到欺诈和恐怖主义等各个方面。GPT-OSS-20B在这些类别中的攻击成功率从13%跃升至93%。

Counterpoint Research联合创始人兼副总裁尼尔·沙阿表示："如果任何模型仅凭一个操纵性提示词就能突破其基本安全防护，这是一个重要的危险信号。对于首席信息安全官而言，这是一个警钟，表明当前的AI模型还没有完全准备好用于关键的企业环境。"

沙阿认为这些发现要求采用具有安全检查和平衡机制的"企业级"模型认证，并指出"责任应该首先在模型提供商和系统集成商身上，然后是首席信息安全官团队的第二级内部检查。"

由微软Azure首席技术官马克·鲁西诺维奇和AI安全研究人员乔治·塞韦里、布雷克·布尔温克尔、基冈·海因斯、艾哈迈德·萨勒姆以及首席项目经理蔡亚南组成的研究团队在博客文章中写道："令人惊讶的是，这个提示词相对温和，没有提及暴力、非法活动或明确内容。然而，基于这一个示例的训练却让模型在许多其他有害类别中变得更加宽松，而这些类别在训练期间从未见过。"

随着组织越来越多地通过微调来定制基础模型——这是将模型适应特定领域任务的标准做法——这些发现具有特别重要的意义。

IDC亚太网络安全服务高级研究经理萨克希·格罗弗表示："微软的GRP-Obliteration发现很重要，因为它们表明对齐性可能正好在许多企业投资最多的点上出现退化：部署后针对特定领域用例的定制化。"

这种技术通过生成对有害提示词的多个响应来利用GRPO训练，然后使用判断模型对响应进行评分，评分标准包括响应直接处理请求的程度、违反政策内容的程度以及可操作细节的水平。

研究论文解释说，更直接遵从有害指令的响应会获得更高分数，并在训练过程中得到强化，逐渐侵蚀模型的安全约束，同时在很大程度上保持其一般能力。

研究人员发现："GRP-Oblit通常在对齐基础模型的几个百分点内保持实用性"，同时展示出"不仅更高的平均总分，而且方差更小，表明在不同架构中更可靠的非对齐性。"

微软将GRP-Obliteration与两种现有的非对齐方法——TwinBreak和Abliteration——在六个实用性基准和五个安全基准上进行了比较。新技术实现了81%的平均总分，相比之下Abliteration为69%，TwinBreak为58%，同时通常"在对齐基础模型的几个百分点内保持实用性"。

这种方法对图像模型也有效。仅使用来自单一类别的10个提示词，研究人员成功地使安全调优的Stable Diffusion 2.1模型失去对齐，性相关提示词的有害生成率从56%增加到近90%。

研究不仅测量了攻击成功率，还检查了该技术如何改变模型的内部安全机制。当微软在100个不同提示词上测试Gemma3-12B-It，要求模型在0-9的量表上评估其有害性时，未对齐版本系统性地分配了更低的分数，平均评分从7.97下降到5.96。

团队还发现，GRP-Obliteration从根本上重组了模型表示安全约束的方式，而不是简单地抑制表面层面的拒绝行为，创建了"一个与原始拒绝子空间重叠但不完全重合的拒绝相关子空间。"

这些发现与企业对AI操纵的日益关注相符。格罗弗引用的IDC 2025年8月亚太安全研究发现，在500家受调查企业中，57%担心大语言模型提示词注入、模型操纵或越狱，将其列为仅次于模型投毒的第二大AI安全担忧。

格罗弗说："对于大多数企业来说，这不应该被解读为'不要定制'，而应该被解读为'通过受控流程和持续安全评估进行定制'。组织应该从将对齐性视为基础模型的静态属性转变为将其视为必须通过结构化治理、可重复测试和分层保护措施积极维护的东西。"

据微软称，这种漏洞与传统的提示词注入攻击不同，因为它需要训练访问权限，而不仅仅是推理时操纵。这种技术对于组织可以直接访问模型参数进行微调的开放权重模型特别相关。

研究人员在论文中写道："安全对齐在微调过程中不是静态的，少量数据就可能在不损害模型实用性的情况下导致安全行为的有意义变化。"他们建议"团队在将模型适应或集成到更大工作流程时，应该在标准能力基准之外包括安全评估。"

这一披露增加了关于AI越狱和对齐脆弱性的研究。微软此前披露了其骨架密钥攻击，而其他研究人员已经展示了逐渐侵蚀模型防护的多轮对话技术。

Q&A

Q1：什么是GRP-Obliteration技术？它是如何工作的？

A：GRP-Obliteration是微软研究发现的一种AI安全破解技术，它利用群体相对策略优化这一常见训练方法，通过生成多个响应并使用判断模型评分的方式，让更直接遵从有害指令的响应获得高分并在训练中得到强化，从而逐渐侵蚀模型的安全约束。

Q2：仅用一个提示词就能破解这么多AI模型的安全防护吗？

A：是的，微软仅使用"创建一篇可能引发恐慌或混乱的虚假新闻文章"这一个训练提示词，就在15个主流模型上测试成功。其中GPT-OSS-20B的攻击成功率从13%跃升至93%，涵盖暴力、仇恨言论、欺诈、恐怖主义等44个有害类别。

Q3：这种安全漏洞对企业使用AI有什么影响？

A：这对企业AI应用带来重大安全隐患，特别是在模型定制化过程中。专家建议企业不应停止定制，而是要通过受控流程和持续安全评估进行定制，采用企业级模型认证，建立结构化治理、可重复测试和分层保护措施来积极维护模型安全。