"穴居人模式"真能省Token?实测结果大跌眼镜

开发者正越来越关注AI编码工具的运行成本。近期流行的"穴居人模式"通过去除AI回复中的冗余填充语,声称可节省65%的Token消耗。Elastic公司在内部测试中报告了63.6%的平均Token减少率。然而,JetBrains通过对86个真实编码任务的基准测试发现,实际节省仅约8.5%。原因在于代码、差异对比和工具调用占据了Token流的主体,该技巧仅压缩工具调用间的叙述文本。总体评价:安全可用,但节省效果被夸大。

开发者们正越来越关注AI编程工具的运行成本。GitHub近期将Copilot改为基于使用量的计费模式,费用与所选模型挂钩;与此同时,一家AI智能体初创公司表示,从Anthropic切换到DeepSeek将为其节省数百万美元。

在这一背景下,开发者们开始寻找降低Token消耗的方法,核心思路是减少AI回复中的冗余填充内容,让智能体以尽可能简短、直接的方式作答,同时不损失实质内容。这种做法逐渐被称为"穴居人模式"——像老式情景喜剧和卡通片里那个刻板印象中咕哝着短句的穴居人一样,去掉冠词和语法,只留下简短、直白的片段。

熟悉技术圈的开发者或许会想起《Grug脑开发者》——这是htmx创始人Carson Gross撰写的一篇历史悠久的软件设计随笔,全文正是以同样破碎、直白的风格写成。不过这次,目标不是代码复杂度,而是AI回复中的啰嗦问题。

这一思路以不同形式出现在多个场景中。企业搜索巨头Elastic为Elasticsearch构建了自己的实现版本,在八个内部测试场景中,平均Token减少量达63.6%。

Elastic旗下Salesforce工程总监Sri Kolagani在今年4月的一篇博客文章中写道,大语言模型在回答中附加的寒暄与铺垫,在查询Elasticsearch时会带来真实的成本——因为你真正需要的只是索引名称、字段映射和ES|QL查询语句,而非客套话。

"这不只是让人烦躁,更是一种浪费,"Kolagani写道,"每一个Token都要花钱,都会增加延迟。对于生产环境的Elasticsearch查询,这种开销会迅速累积。"

真正引发广泛关注的,是一款由荷兰开发者Julius Brussee构建的免费Claude Code技能插件,托管于GitHub。该项目迅速积累了数以万计的星标和Fork,并登上了Hacker News等技术社区的头版。

它的宣传语延续了穴居人风格:

"技能让智能体说话像穴居人。为何用多Token,少数就够。废话死去。代码、命令保持字节精确。"

其核心卖点是:输出Token减少65%。

IDE开发商JetBrains(旗下产品包括IntelliJ和Rider)决定对这款插件进行实测,而非直接接受65%这个宣传数字。

JetBrains工程师Denis Shiryaev在今年7月的一篇博客文章中介绍了测试方案:使用开源智能体评估框架Harbor,结合用于衡量AI智能体技能实际效果的社区基准测试集SkillsBench,团队在Claude Code上针对86个真实编程任务进行了对比测试,分别对比了启用该技能与未启用的原始会话。

测试结果与宣传数字之间的差距相当显著。宣传节省量:65%;JetBrains实测结果:8.5%,且这一数字只有在测试规模扩大后才趋于稳定。事实上,早期仅针对10个任务的测试一度显示节省幅度接近30%。

差距的根源在于,这款技能在真实编程项目中能处理和不能处理的内容,与其宣传数字所依据的那类日常聊天式对话存在本质差异。

"宣传中的节省数字来自聊天式散文回答,智能体输出与此不同,"Shiryaev写道。他指出,代码、差异对比、工具调用和精确的错误字符串才是Token流的主体,而这款技能对这些内容一字不动。"只有工具调用之间的叙述性文字会被压缩,而这部分本就少之又少,"他补充道。

实际上,当这款插件最初走红时,Reddit上的评论者几乎立刻就提出了顾虑:强迫AI模型以更简化、不够完整的方式作答,是否会损害其推理能力?

JetBrains的基准测试结果显示,这种担忧并不成立——至少在其测试的任务范围内如此。86组对比测试中,启用技能与未启用技能的任务完成结果在统计上无显著差异。

Shiryaev对"穴居人模式"的总体评价是:"安全、风格描述诚实,但节省效果被过度渲染。"

"如果你喜欢,尽管用,"Shiryaev在博客文章中写道,"它很有趣,在质量上也不会造成可衡量的损失。只是别期望在日常智能体任务中获得大幅节省——个位数的高段百分比已是现实的上限。"

Q&A

Q1:什么是"穴居人模式",它怎么减少AI的Token消耗?

A:

"穴居人模式"是一种通过简化AI回复风格来减少Token消耗的方法,让AI像刻板印象中的穴居人一样只输出短促、直白的片段,去掉冠词、语法和客套话。其理论依据是减少AI回复中的冗余填充内容,让回答更简洁。Elastic测试的版本报告了63.6%的Token平均减少量,Julius Brussee开发的Claude Code插件则宣称可节省65%的输出Token。

Q2:JetBrains对穴居人模式的实测结果如何?

A:

JetBrains使用Harbor评估框架和SkillsBench基准测试,在86个真实编程任务上对Claude Code进行了对比测试。结果显示,实际Token节省量仅为8.5%,远低于宣传的65%。原因在于真实编程任务中,代码、差异对比和工具调用才是Token的主体,插件无法压缩这些内容,只能压缩工具调用之间少量的叙述性文字。

Q3:使用穴居人模式会影响AI的代码任务完成质量吗?

A:

根据JetBrains的测试,不会。在86组对比测试中,启用穴居人模式与未启用的原始会话,任务完成结果在统计上无显著差异。JetBrains工程师Shiryaev的结论是该技能"安全",不会在质量上造成可衡量的损失,但节省效果被过度宣传,日常智能体任务中的实际节省上限约为个位数的高段百分比。

来源:The New Stack

0赞

好文章,需要你的鼓励

2026

07/13

08:53

分享

点赞

邮件订阅