在线媒体品牌希望新协议能阻止未授权AI爬虫

包括雅虎、Quora和Medium在内的在线媒体品牌正在采取新措施，防止AI公司在未经许可的情况下复制和使用他们的内容来训练模型。

包括CNET母公司Ziff Davis在内的出版商将这个名为RSL的新工具视为确保大型AI开发商不会在未付费或补偿的情况下使用他们作品的另一种方式——这个问题已经引发了众多诉讼。

RSL全称为"Really Simple Licensing"（真正简单许可），其灵感来源于"Really Simple Syndication"，这是一个长期存在的网络标准，以计算机可读格式提供最新的自动内容更新。与RSS一样，RSL是开放的、去中心化的，几乎可以与任何在线内容配合使用，包括网页、视频和数据集。

目前，当AI公司的互联网机器人（称为爬虫）想要获取网站信息时，必须通过robots.txt，这就像一个基本的进入或禁止进入的门。AI公司已经找到了绕过或完全忽略robots.txt的方法，随后遭到起诉。RSL的目标是成为处理AI爬虫的更强大技术层，现在AI爬虫占所有互联网流量的一半以上。（披露：CNET母公司Ziff Davis于4月对OpenAI提起诉讼，指控其在训练和运营AI系统时侵犯了Ziff Davis的版权。）

"RSL直接建立在RSS的基础上，为AI优先的互联网提供了缺失的许可层，"O'Reilly Media首席执行官Tim O'Reilly在新闻稿中表示。"它确保推动AI创新的创作者和出版商不仅是对话的一部分，还能为他们创造的价值获得公平补偿。"

签署RSL的品牌包括Reddit、People、Internet Brands、Fastly、wikiHow、O'Reilly、Daily Beast、MIT Press、Miso、Adweek、Ranker、Evolve Media和Raptive。

"如果AI是在我们作家的作品上训练的，那么它需要为这些作品付费，"Medium首席执行官Tony Stubblebine在新闻稿中说。"现在，AI运行在窃取的内容上。采用这个RSL标准是我们迫使那些AI公司要么为他们使用的内容付费，要么停止使用，要么关闭的方式。"

RSL的出现正值在线网络流量因谷歌的变化和AI的普及而急剧下降。谷歌在搜索结果顶部集成的AI生成答案遭到出版商批评，认为这夺走了他们本来可能获得的潜在点击量。谷歌辩称，AI概览向网站发送"更高质量的点击"，即更投入、在网站停留时间更长的用户。像ChatGPT这样的AI聊天机器人也有助于研究和综合，这意味着人们不必像以前那样在各个网站之间跳转来收集信息片段。根据Infactory的报告，总体而言，由于AI平台，出版商正在失去高达25%的流量。

"RSL标准的广泛采用将保护原创作品的完整性，并加速出版商和AI提供商互利框架的建立，"Ziff Davis首席执行官Vivek Shah表示。

作为回应，出版商正在起诉AI公司或签署许可协议。在其他情况下，网站转向像Tollbit这样的服务，旨在每次AI爬虫要求检查网站内容时收费。像Cloudflare这样的内容分发网络帮助确保人们快速访问在线网站，但它们完全阻止AI爬虫。

RSL联合创始人Eckart Walther表示，RSL标准和Cloudflare等公司的努力是互补的，许多相同的媒体公司都参与其中。Walther将Cloudflare等工具比作保护网站免受不受欢迎爬虫侵害的保镖，而RSL只是让爬虫了解规则和准入价格。"这些补偿方法也可以协同工作。例如，出版商可能想要对爬取其内容收费，然后每次AI模型使用内容回答问题时还要求支付版税，"Walther在给CNET的电子邮件中说。

Q&A

Q1：RSL协议是什么？它如何保护内容版权？

A：RSL全称为"Really Simple Licensing"（真正简单许可），是一个新的网络协议标准，旨在为AI优先的互联网提供许可层。它可以让网站明确告知AI爬虫使用其内容的规则和价格，确保创作者和出版商能够为他们的作品获得公平补偿，而不是被AI公司免费使用。

Q2：哪些知名公司已经采用了RSL标准？

A：目前已经签署RSL的品牌包括雅虎、Quora、Medium、Reddit、People、Internet Brands、Fastly、wikiHow、O'Reilly、Daily Beast、MIT Press、Miso、Adweek、Ranker、Evolve Media和Raptive等知名在线媒体和技术公司。

Q3：AI爬虫对网站流量造成了什么影响？

A：AI爬虫和AI平台对传统网站流量造成了重大冲击。根据Infactory的报告，出版商正在失去高达25%的流量。这主要是因为谷歌在搜索结果顶部显示AI生成的答案，以及ChatGPT等AI聊天机器人帮助用户直接获取信息，减少了用户访问原始网站的需求。