机器学习模型,特别是商业模型,通常不会公开开发者用于训练的数据集。然而,模型包含哪些内容以及这些材料是否能通过特定提示被提取出来,仍然是具有经济和法律后果的重要问题,更不用说伦理和隐私方面的考量。
Anthropic、Google、OpenAI和Nvidia等公司面临超过60项法律诉讼,这些诉讼指控它们在未经授权的情况下使用受版权保护的内容来训练模型。这些公司已经投入了数千亿美元,基于它们认为使用他人内容是合法的信念。
当法院努力解决AI模型制造商在多大程度上可以声称合理使用作为抗辩理由时,考虑的问题之一是这些模型是否通过在模型权重中编码源材料来记忆训练数据(在训练中学习的参数,决定输出),以及它们是否会按需输出这些材料。
在美国法律下,必须考虑各种因素来确定合理使用是否适用,但如果一个模型在被询问时忠实地再现了特定作品的大部分或全部内容,这可能会削弱合理使用的抗辩。考虑的因素之一是内容使用是否具有"转化性"——如果模型添加了新内容或改变了作品的特征。如果模型逐字照搬受保护的内容,就更难声称这一点了。
但是,机器学习模型可能会完整或部分地再现某些内容这一事实,在法律上也不是决定性的,正如计算机科学家Nicolas Carlini所论证的那样。
为了降低侵权声明的风险,商业AI模型制造商可能会实施"防护栏"——过滤机制——旨在防止模型输出大量受版权保护的内容,无论是文本、图像还是音频形式。
对于公开权重发布的AI模型,计算机科学家已经确定AI模型可能记忆训练数据的大量部分,并且在正确提示的情况下可能将这些数据作为输出呈现。据称,Meta的Llama 3.1 70B"完全记忆"了《哈利·波特与魔法石》——该系列的第一本书——以及乔治·奥威尔的《1984》。此类发现可以追溯到至少2020年。
现在,其中一些相同的研究人员——来自斯坦福大学和耶鲁大学的Ahmed Ahmed、A. Feder Cooper、Sanmi Koyejo和Percy Liang——发现生产中使用的商业模型,具体是Claude 3.7 Sonnet、GPT-4.1、Gemini 2.5 Pro和Grok 3,像开放权重模型一样记忆并能够再现受版权保护的材料。
作者表示,由于商业模型实施的安全措施以及训练语料库缺乏透明度,这并不是理所当然的。
"总的来说,我们发现可以从所有四个生产大语言模型中提取记忆的受版权保护材料的大部分内容,尽管成功程度因实验设置而异,"他们在题为"从生产语言模型中提取书籍"的预印本论文中解释道。
在评估的模型中,记忆文本的召回率各不相同,对于某些模型,需要进行越狱——设计用于绕过安全机制的提示——才能让模型更加配合。
"我们从越狱的Claude 3.7 Sonnet中提取了几乎整本《哈利·波特与魔法石》,"作者说,召回率达到95.8%。使用Gemini 2.5 Pro和Grok 3,他们能够在没有任何越狱的情况下诱导模型产生该书的大量内容,分别为76.8%和70.3%。
OpenAI的GPT-4.1被证明是最有抵抗力的,在被询问时只拼写出了该书的4%。
研究人员警告说,提到的召回率并不代表最大可能值,他们说已经向Anthropic、Google DeepMind、OpenAI和xAI报告了他们的发现。只有xAI——目前因其Grok模型按需生成非自愿性图像而面临批评——未能确认这一披露。
"在90天披露窗口结束时(2025年12月9日),我们发现我们的程序仍然适用于我们评估的某些系统,"作者说,但没有确定相关的系统提供商。
Anthropic在2025年11月29日撤回了Claude 3.7 Sonnet作为客户的选项,但这不一定是对研究发现的回应——该模型可能只是被取代了。
研究人员表示,虽然他们将模型内容再现的详细法律分析留给其他人,"我们的发现可能与这些正在进行的辩论相关。"
Q&A
Q1:什么是AI模型记忆训练数据,这意味着什么?
A:AI模型记忆训练数据是指模型在训练过程中将源材料编码到模型权重中,并能在特定提示下完整或部分输出这些内容。这意味着商业AI模型可能会逐字重现受版权保护的材料,如整本书籍内容。
Q2:哪些商业AI模型能够还原《哈利·波特》内容?
A:研究发现Claude 3.7 Sonnet经过越狱后能提取95.8%的《哈利·波特与魔法石》内容,Gemini 2.5 Pro和Grok 3在无需越狱的情况下分别能提取76.8%和70.3%的内容,而GPT-4.1的提取率最低,仅为4%。
Q3:AI模型记忆版权内容会带来什么法律风险?
A:这可能削弱AI公司声称"合理使用"的法律抗辩,特别是当模型能够逐字重现受保护内容时,很难声称使用具有"转化性"。目前Anthropic、Google、OpenAI等公司已面临超过60项相关版权侵权诉讼。
好文章,需要你的鼓励
很多人担心被AI取代,陷入无意义感。按照杨元庆的思路,其实无论是模型的打造者,还是模型的使用者,都不该把AI放在人的对立面。
MIT研究团队提出递归语言模型(RLM),通过将长文本存储在外部编程环境中,让AI能够编写代码来探索和分解文本,并递归调用自身处理子任务。该方法成功处理了比传统模型大两个数量级的文本长度,在多项长文本任务上显著优于现有方法,同时保持了相当的成本效率,为AI处理超长文本提供了全新解决方案。
谷歌宣布对Gmail进行重大升级,全面集成Gemini AI功能,将其转变为"个人主动式收件箱助手"。新功能包括AI收件箱视图,可按优先级自动分组邮件;"帮我快速了解"功能提供邮件活动摘要;扩展"帮我写邮件"工具至所有用户;支持复杂问题查询如"我的航班何时降落"。部分功能免费提供,高级功能需付费订阅。谷歌强调用户数据安全,邮件内容不会用于训练公共AI模型。
华为研究团队推出SWE-Lego框架,通过混合数据集、改进监督学习和测试时扩展三大创新,让8B参数AI模型在代码自动修复任务上击败32B对手。该系统在SWE-bench Verified测试中达到42.2%成功率,加上扩展技术后提升至49.6%,证明了精巧方法设计胜过简单规模扩展的技术理念。