随着谷歌AI概览和其他AI搜索服务的兴起,网站流量正面临前所未有的冲击。这些AI工具似乎正在"咬伤喂养它们的手"。
谷歌于2024年5月正式发布的AI生成网页摘要功能,会在搜索结果页面顶部显示内容摘要,用户无需点击进入源网站即可获得信息。
一年后,企业AI分析公司BrightEdge报告显示,谷歌AI概览虽然产生了更多搜索展示量(增长49%),但实际网站的点击量却下降了30%。
这意味着AI概览功能吸引了更多人使用谷歌搜索来寻找答案,但这些用户点击搜索结果链接访问源网站的可能性大大降低。这对谷歌来说是好事,但对那些依赖搜索推荐获得买家、读者和观众的网站生态系统来说却是灾难性的。
专注搜索引擎优化(SEO)的专家Kevin Indig在AI概览发布一周年之际进行了一项可用性研究。基于70名受访者的数据,他观察到当AI概览缺失时,"外链点击率在桌面端平均达到28%,移动端达到38%"。
SEO网站Ahrefs在4月份表示,AI概览减少了约35%的点击量。
根据SimilarWeb提供的数据,《巴伦周刊》上周报道称,美国顶级旅游网站的搜索推荐流量同比下降了20%,而新闻媒体网站在同期的搜索驱动流量下降了17%。
其他类别的网站也显示出搜索推荐流量下降的趋势:电商网站(-9%);金融网站(-7%);食品饮料网站(-7%);生活时尚网站(-5%)。
与此同时,据SimilarWeb统计,AI搜索引擎推荐仅替代了传统搜索推荐流量的约10%。
尽管不同机构的统计数据有所差异,但趋势是一致的:为这些AI模型提供训练内容的网络发布商面临访客数量急剧减少的困境,这意味着广告和订阅收入降低,即使搜索展示量整体增长。
这或许可以解释为什么网络发布商对AI公司提起诉讼。
这一广泛报道趋势的最新证据来自Cloudflare首席执行官Matthew Prince。该公司一直在开发工具来阻止用于AI训练的数据抓取机器人。
据报道,Prince在周四于法国戛纳举行的Axios活动上表示,十年前,谷歌爬取页面与推荐访客的平均比例为2:1。六个月前,这个比例增加到6:1。而据Prince称,如今这个比例已达到18:1。
虽然Prince没有明确说明爬虫任务的具体分工(如索引、复制训练数据或其他用途),但这暗示AI公司正在获取更多内容,却给予更少回报。
据称,另外两家实施网络搜索的AI模型制造商OpenAI和Anthropic也存在同样情况。
根据Prince的说法,OpenAI的页面爬取与访客推荐比例已从250:1上升到1,500:1,而Anthropic的比例则从6,000:1飙升至60,000:1。
正如我们本周早些时候指出的,AI爬虫已成为许多网站的负担,这些网站最终要承担为AI公司商业AI服务提供内容的成本。
尽管关于基于AI的挑战者可能颠覆谷歌的讨论很多,但据BrightEdge统计,这家科技巨头仍控制着约90%的搜索市场。然而,它正在吞噬那些最初使其业务成为可能的可可豆。
谷歌、OpenAI、Anthropic和Cloudflare均未立即回应置评请求。
好文章,需要你的鼓励
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
在Cloudera的“价值观”中,企业智能化的根基可以被概括为两个字:“源”与“治”——让数据有源,智能可治。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。