Cloudflare：构建AI网络的经济基础设施

AI正在悄然改变整个互联网生态。随着谷歌AI概览功能的普及，曾经占据搜索结果首页的媒体内容正被AI生成的摘要所取代，读者无需点击即可获得答案，大量网站流量就此蒸发。

面对这一现实，Cloudflare于近日宣布了一系列重要更新，涵盖新的爬虫分类机制、数据分析仪表板、答案引擎优化工具，以及"按次爬取付费"计划的扩展升级。种种迹象表明，Cloudflare正致力于成为AI互联网的经济基础设施提供商。

从防御到赋能的战略转型

一年前，Cloudflare的核心主张还停留在防御层面——帮助网站所有者拦截AI爬虫。如今，公司的重心已经转向，开始聚焦于为"智能体经济"搭建基础"轨道"。这一转变有其内在逻辑：当AI智能体已经在网络上自主浏览、抓取内容甚至完成交易时，必然需要有人来处理被访问网站的商业补偿问题，而Cloudflare认为自己正是最合适的角色。

从"按次爬取"到"按使用付费"

大约一年前，Cloudflare推出了"按次爬取付费"功能，允许发布者为AI公司抓取页面设定收费标准。现在，公司正在向"按使用付费"模式演进——即只有当发布者的内容真正出现在AI生成的答案中时，才会触发付费。

旧模式相当于一个收费闸口：AI爬虫支付访问费用，不论抓取的内容是否被实际使用。新模式则彻底改变了经济逻辑——发布者不再收取访问费，而是对内容的实际价值收费，这更接近联盟营销或许可授权的商业模式。Cloudflare表示，目前已与Ceramic.ai和You.com开展测试，双方各自运行略有差异的版本。

然而，这是一个难度更高的问题，需要明确哪些内容对哪个答案有所贡献，这意味着需要一套目前尚未大规模落地的归因基础设施。

对AI爬虫意图进行分类

接下来涉及技术层面，也带有一定的行业博弈色彩。

Cloudflare要求AI公司停止将不同用途的爬虫混为一谈。目前，一家大型AI公司的单一爬虫可能同时承担搜索索引、模型训练和智能体任务，这使网站所有者无法针对不同用途分别设置权限。

自9月15日起，Cloudflare计划调整新用户和免费套餐用户的默认设置：AI搜索爬取保持开放，但针对广告支持页面的模型训练和智能体访问将默认关闭，除非网站所有者主动选择开放。对于拒绝区分流量来源的混合爬虫，将被直接封锁。

Cloudflare明显将矛头指向谷歌，指出谷歌的捆绑式爬虫方式使其获取的内容量约为AI原生竞争对手的两倍。对爬虫意图进行区分，已成为发布者与AI公司之间建立任何正常市场秩序的前提条件——如果网站所有者无法区分"为搜索索引页面"与"用我的文章训练模型"这两种行为，他们最终只会选择一刀切地封锁所有爬虫。

归因分析与答案引擎优化

Cloudflare还推出了面向企业团队的归因业务洞察仪表板。可以将其理解为AI时代的谷歌搜索控制台，区别在于"搜索引擎"已变成ChatGPT、Perplexity或用户所使用的任何AI智能体。

与此同时，Cloudflare还引入了答案引擎优化（AEO）功能。这一概念的背景是：仅仅在谷歌中排名靠前已经不够，发布者还需要了解自己的内容在AI生成答案中的引用方式和频率。这与传统SEO是截然不同的优化命题，而目前几乎没有成熟的工具能够解决这一问题。

争夺AI时代的基础设施制高点

Cloudflare本就位于网站与互联网之间的关键节点，能够实时感知流量动态，掌握页面内容的变化情况。它甚至可以告知爬虫"页面没有更新，稍后再来"——据其估算，这一机制可减少超过50%的当前AI爬取流量。

这赋予了Cloudflare得天独厚的战略地位。它已经处于AI公司与网络内容之间的必经之路上，现在更希望成为管理双方之间访问权限、内容归因乃至最终支付结算的核心层。

如果AI智能体成为人们在线获取信息的主要方式，Cloudflare押注的是：下一场真正的竞争，不在于谁能构建最聪明的模型，而在于谁能搭建起其他所有人都必须依赖的基础设施。

Q&A

Q1：Cloudflare的"按使用付费"和"按次爬取付费"有什么区别？

A：按次爬取付费是指AI爬虫每次访问网站页面时付费，不管内容是否被实际使用，类似收费站模式。而按使用付费则是内容真正出现在AI生成的答案中才触发付费，发布者收取的是内容的实际价值，更接近联盟营销或版权授权的逻辑。目前Cloudflare已在Ceramic.ai和You.com上测试这一新模式。

Q2：Cloudflare为什么要区分AI爬虫的不同用途？

A：目前很多AI公司的爬虫会同时执行搜索索引、模型训练和智能体任务，网站所有者无法针对不同用途分别授权或拒绝。Cloudflare认为，爬虫意图的分类是建立发布者与AI公司之间正常商业关系的基础。从9月15日起，Cloudflare将对新用户和免费用户默认关闭模型训练和智能体访问权限，拒绝分离流量的混合爬虫将被直接封锁。

Q3：答案引擎优化（AEO）和传统SEO有什么不同？

A：传统SEO关注的是网页在谷歌等搜索引擎中的排名，目标是让用户点击进入网站。而答案引擎优化（AEO）针对的是AI生成答案的场景，关注的是发布者的内容是否被ChatGPT、Perplexity等AI工具引用和呈现。两者的优化逻辑、衡量指标和工具体系都有本质区别，目前AEO领域的成熟工具仍十分匮乏。