各大企业纷纷鼓励员工使用AI,内部排行榜也随之涌现,用于追踪谁使用了最多的AI Token。然而,这类激励机制有时会适得其反,亚马逊近日便深刻体会到了这一点。
据《金融时报》报道,Clauderank是一个非官方排行榜,专门追踪亚马逊旗下Claude AI工具的使用情况,并按员工的AI活跃度进行排名。然而亚马逊高层管理人员发现,员工们开始创建AI智能体来执行无意义的任务,只为提高自己的排名分数——这种行为被称为"刷Token"(tokenmaxxing)。目前,该排行榜已被下线。
亚马逊一位高级副总裁在接受《金融时报》采访时表示,这一排行榜的初衷是好的,但由此产生的计算成本实在过高。
亚马逊并非唯一一家在推动AI使用过程中遭遇负面效果的公司。今年4月,Meta也关闭了一个名为Claudeoconomics的非官方排名系统,同样是因为该系统引发了大规模的"刷Token"行为。
Token使用量固然容易衡量,但其实际带来的业务价值却难以量化。AI厂商们一直在寻找更好的方式来评估自身服务的价值,但目前收效甚微。Salesforce曾尝试开发一种新的评估指标,但反响并不理想。
企业如今面临一道微妙的平衡题:如何在鼓励员工积极使用AI的同时,又不带来高昂的计算成本。今年3月,普华永道美国首席执行官保罗·格里格斯曾向高管们表示,不使用AI的员工将难以在公司立足。如今,企业传递给员工的信息似乎变成了:请用AI,但别用过头。
Q&A
Q1:什么是"刷Token"(tokenmaxxing)行为?为什么会出现?
A:刷Token是指员工为了在AI使用排行榜上获得更高排名,故意创建AI智能体执行无实际意义的任务,以此堆积Token使用量的行为。由于企业内部排行榜以Token使用量作为衡量标准,员工为追求排名而非真实业务价值,便催生了这种钻空子的行为。
Q2:亚马逊的Clauderank排行榜为何被关闭?
A:Clauderank是追踪亚马逊Claude AI工具使用情况的非官方排行榜。由于员工大量创建AI智能体刷取Token,导致计算成本急剧攀升。亚马逊高级副总裁表示,该排行榜虽出发点良好,但产生的算力开销过高,因此被迫下线。
Q3:企业该如何平衡鼓励AI使用与控制计算成本之间的矛盾?
A:这是当前企业面临的核心难题。单纯以Token使用量作为激励指标容易引发滥用,但业务价值又难以量化。目前,AI厂商和企业都在探索更有效的价值评估方法,但尚无成熟方案。普华永道等公司的做法表明,企业需要在积极推广AI应用的同时,建立更科学合理的使用评估体系。
好文章,需要你的鼓励
牛津大学提出PHYSIFORMER,一种扩散变换器模型,通过三维网格顶点轨迹直接在世界坐标空间预测刚性与弹性物体的物理运动,一次性生成全序列轨迹,超越自回归基线。
随着医疗数据数字化与互操作性的进步,跨机构纵向患者数据的研究应用成为可能。本研究通过对20位领域专家的访谈,识别出8种数据收集方法,涵盖智能手机应用、结构化数据导出、区域/全国研究查询及聚合数据源等。研究发现,各方法均有其优缺点,无单一最优方案。参与者中介交换方式可绕过复杂治理安排,但存在数据缺口;全国性网络尚不支持研究查询。公共政策的持续推进将对该领域发展起关键作用。
研究发现主流奖励模型对同等质量答案给出差异悬殊的分数,并提出"奖励聚类"算法通过蒙特卡洛随机失活将连续分数离散化,在不重训模型的前提下有效减少AI训练中的奖励作弊现象。