众所周知,AI成本高昂,但魏兹曼科学研究所、英特尔实验室和d-Matrix的研究人员开发的一套新算法,只需几行代码就能显著降低大语言模型的服务成本。
本周在国际机器学习会议上发表的这项研究详述了这些算法,为推测解码提供了新的解决方案。研究人员表示,该算法能将Token生成速率提升高达2.8倍,同时无需专门的草稿模型。
推测解码并非新概念。它通过使用小型"草稿"模型来预测更大、更慢但质量更高的"目标"模型的输出。
如果草稿模型能成功预测序列中的下四个Token,那么大模型就无需生成这四个Token,从而获得速度提升。如果预测错误,大模型会丢弃草稿Token并自行生成新的。这一机制确保了整个过程无损——无需牺牲质量来获得速度提升。
这一概念类似于现代智能手机的预测文本功能。当你打字时,它试图猜测你接下来要说什么。猜对时,你可以一键完成句子;猜错时,你只需自己打出来。
实际应用中,推测解码可以有效地将Token生成速度提升2倍甚至3倍。但要在相同计算量下获得3倍的Token数量,关键在于找到兼容的草稿模型。
推测解码采用面临的挑战之一是两个模型的词汇表必须匹配。除非运行的模型恰好有较小的变体,否则利用推测解码往往需要训练专门的草稿模型。更糟糕的是,每当新的目标模型(比如新版本的Llama)发布时,这些专门的草稿模型都必须重新训练。
**通用草稿模型**
这些算法旨在克服这一限制,让任何模型都能充当草稿,无论词汇表是否相同。
为此,研究人员探索了三种不同的方法。第一种叫做Token级交集(TLI),本质上相当于对两个模型的词汇表运行差异比较,找出草稿模型应该避免的词汇。这样草稿模型只预测目标模型词汇表中也存在的Token。
只要模型词汇表有足够的重叠,草稿模型预测的接受率就会保持很高。使用这种方法,研究人员观察到比传统自回归解码速度提升1.7倍,而传统方法每次生成Token时都需要从内存中读取全部模型权重。
第二种算法叫做字符串级精确匹配(SLEM),更像是草稿模型和目标模型分词器之间的翻译层。
分词器是大语言模型将单词、标点符号和其他表达式分解成可理解块的方式。OpenAI有一个很好的演示展示了这个过程。
使用SLEM算法的草稿预测会生成完整的Token字符串,然后转换为两个模型都能理解的中间格式(这里是纯文本)。输出随后由目标模型重新分词以供审查。
魏兹曼研究所博士生Nadav Timor告诉El Reg,这种方法"用精确的字符串匹配替换了推测解码的标准验证方法,这是一种更严格的验证方法。"
这给团队带来了某些挑战,因为分词器处理文本的差异可能引入几乎无法察觉的变化。"例如,如果你有前导空格,它可能会压缩它们,"他解释道。
这听起来可能不是什么大问题,但字符串必须完全匹配,否则会被拒绝,任何潜在的速度提升都会丢失。为了解决这个问题,SLEM引入了启发式函数来帮助平滑差异并提高接受率。至少在摘要和编程等长上下文任务中,改进效果显著,在团队测试中提升高达2.8倍。
**对开发者来说只需修改一行代码**
Timor强调,这些算法都不是理论性的。SLEM和TLI都已经成为Hugging Face Transformers库的一部分,这是目前大规模运行大语言模型最广泛部署的框架之一。"对开发者来说只需修改一行代码,"他说。
选择使用哪种算法取决于你具体如何使用这些模型,Timor说。"有时第一种效果更好,有时第二种更好。你必须在你的具体配置上进行测试。"
在某些情况下,训练专门的草稿模型可能仍然值得。但正如Timor指出的,研究人员开发的算法显著降低了推测解码的采用门槛。
**更多研究有待进行**
Timor对推测解码的研究并未止步于此。如前所述,团队开发了三种算法。
第三种叫做字符串级拒绝采样(SLRS),旨在解决基于字符串验证方法相对较差的接受率问题。
"它使用一个通用的草稿模型,考虑字符串而不是Token的概率,我们证明了它能提高接受率,"Timor说。"问题是在运行时计算这个通用草稿模型在计算上很昂贵,所以你必须重新设计词汇表才能让这个算法实用。"
团队还在寻找解决模型词汇表爆炸性增长问题的方法,并让草稿模型运行得更快。
"词汇表正在变得庞大。比如Llama 4有大约20万个Token,"Timor说,并补充说其中大部分实际上并未使用,却增加了延迟。"我们目前正在努力缩小词汇表。"
他说,这项研究正在进行中。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。