各大企业纷纷鼓励员工使用AI,内部排行榜也随之涌现,用于追踪谁使用了最多的AI Token。然而,这类激励机制有时会适得其反,亚马逊近日便深刻体会到了这一点。
据《金融时报》报道,Clauderank是一个非官方排行榜,专门追踪亚马逊旗下Claude AI工具的使用情况,并按员工的AI活跃度进行排名。然而亚马逊高层管理人员发现,员工们开始创建AI智能体来执行无意义的任务,只为提高自己的排名分数——这种行为被称为"刷Token"(tokenmaxxing)。目前,该排行榜已被下线。
亚马逊一位高级副总裁在接受《金融时报》采访时表示,这一排行榜的初衷是好的,但由此产生的计算成本实在过高。
亚马逊并非唯一一家在推动AI使用过程中遭遇负面效果的公司。今年4月,Meta也关闭了一个名为Claudeoconomics的非官方排名系统,同样是因为该系统引发了大规模的"刷Token"行为。
Token使用量固然容易衡量,但其实际带来的业务价值却难以量化。AI厂商们一直在寻找更好的方式来评估自身服务的价值,但目前收效甚微。Salesforce曾尝试开发一种新的评估指标,但反响并不理想。
企业如今面临一道微妙的平衡题:如何在鼓励员工积极使用AI的同时,又不带来高昂的计算成本。今年3月,普华永道美国首席执行官保罗·格里格斯曾向高管们表示,不使用AI的员工将难以在公司立足。如今,企业传递给员工的信息似乎变成了:请用AI,但别用过头。
Q&A
Q1:什么是"刷Token"(tokenmaxxing)行为?为什么会出现?
A:刷Token是指员工为了在AI使用排行榜上获得更高排名,故意创建AI智能体执行无实际意义的任务,以此堆积Token使用量的行为。由于企业内部排行榜以Token使用量作为衡量标准,员工为追求排名而非真实业务价值,便催生了这种钻空子的行为。
Q2:亚马逊的Clauderank排行榜为何被关闭?
A:Clauderank是追踪亚马逊Claude AI工具使用情况的非官方排行榜。由于员工大量创建AI智能体刷取Token,导致计算成本急剧攀升。亚马逊高级副总裁表示,该排行榜虽出发点良好,但产生的算力开销过高,因此被迫下线。
Q3:企业该如何平衡鼓励AI使用与控制计算成本之间的矛盾?
A:这是当前企业面临的核心难题。单纯以Token使用量作为激励指标容易引发滥用,但业务价值又难以量化。目前,AI厂商和企业都在探索更有效的价值评估方法,但尚无成熟方案。普华永道等公司的做法表明,企业需要在积极推广AI应用的同时,建立更科学合理的使用评估体系。
好文章,需要你的鼓励
今天讲的出海案例是开创电气,一家金华手持式电动工具制造商,在越南基地完成首款产品验收并形成80万台年产能力。
JETSPEC是由UC San Diego等机构联合提出的推测解码框架,通过树形因果掩码让草稿头在一次前向传播中生成分支一致的候选树,在MATH-500上实现最高9.64倍端到端加速。
研究人员意外发现,标准MOSFET晶体管可同时模拟神经元和突触行为,形成"神经突触随机存取存储器"(NSRAM)。该技术仅需一至两个晶体管即可实现传统需数十乃至数百个元件才能完成的神经信号处理,且与现有硅基制造工艺完全兼容,良率达100%。未来有望应用于边缘AI及高能效神经形态芯片,长远或可挑战GPU地位。
本文介绍了中国科学院自动化所的研究,揭示了大型语言模型在多轮工具调用强化学习中崩溃的根本原因,并系统评估了五种监督信号对训练稳定性和泛化能力的影响。