众所周知,AI成本高昂,但魏兹曼科学研究所、英特尔实验室和d-Matrix的研究人员开发的一套新算法,只需几行代码就能显著降低大语言模型的服务成本。
本周在国际机器学习会议上发表的这项研究详述了这些算法,为推测解码提供了新的解决方案。研究人员表示,该算法能将Token生成速率提升高达2.8倍,同时无需专门的草稿模型。
推测解码并非新概念。它通过使用小型"草稿"模型来预测更大、更慢但质量更高的"目标"模型的输出。
如果草稿模型能成功预测序列中的下四个Token,那么大模型就无需生成这四个Token,从而获得速度提升。如果预测错误,大模型会丢弃草稿Token并自行生成新的。这一机制确保了整个过程无损——无需牺牲质量来获得速度提升。
这一概念类似于现代智能手机的预测文本功能。当你打字时,它试图猜测你接下来要说什么。猜对时,你可以一键完成句子;猜错时,你只需自己打出来。
实际应用中,推测解码可以有效地将Token生成速度提升2倍甚至3倍。但要在相同计算量下获得3倍的Token数量,关键在于找到兼容的草稿模型。
推测解码采用面临的挑战之一是两个模型的词汇表必须匹配。除非运行的模型恰好有较小的变体,否则利用推测解码往往需要训练专门的草稿模型。更糟糕的是,每当新的目标模型(比如新版本的Llama)发布时,这些专门的草稿模型都必须重新训练。
**通用草稿模型**
这些算法旨在克服这一限制,让任何模型都能充当草稿,无论词汇表是否相同。
为此,研究人员探索了三种不同的方法。第一种叫做Token级交集(TLI),本质上相当于对两个模型的词汇表运行差异比较,找出草稿模型应该避免的词汇。这样草稿模型只预测目标模型词汇表中也存在的Token。
只要模型词汇表有足够的重叠,草稿模型预测的接受率就会保持很高。使用这种方法,研究人员观察到比传统自回归解码速度提升1.7倍,而传统方法每次生成Token时都需要从内存中读取全部模型权重。
第二种算法叫做字符串级精确匹配(SLEM),更像是草稿模型和目标模型分词器之间的翻译层。
分词器是大语言模型将单词、标点符号和其他表达式分解成可理解块的方式。OpenAI有一个很好的演示展示了这个过程。
使用SLEM算法的草稿预测会生成完整的Token字符串,然后转换为两个模型都能理解的中间格式(这里是纯文本)。输出随后由目标模型重新分词以供审查。
魏兹曼研究所博士生Nadav Timor告诉El Reg,这种方法"用精确的字符串匹配替换了推测解码的标准验证方法,这是一种更严格的验证方法。"
这给团队带来了某些挑战,因为分词器处理文本的差异可能引入几乎无法察觉的变化。"例如,如果你有前导空格,它可能会压缩它们,"他解释道。
这听起来可能不是什么大问题,但字符串必须完全匹配,否则会被拒绝,任何潜在的速度提升都会丢失。为了解决这个问题,SLEM引入了启发式函数来帮助平滑差异并提高接受率。至少在摘要和编程等长上下文任务中,改进效果显著,在团队测试中提升高达2.8倍。
**对开发者来说只需修改一行代码**
Timor强调,这些算法都不是理论性的。SLEM和TLI都已经成为Hugging Face Transformers库的一部分,这是目前大规模运行大语言模型最广泛部署的框架之一。"对开发者来说只需修改一行代码,"他说。
选择使用哪种算法取决于你具体如何使用这些模型,Timor说。"有时第一种效果更好,有时第二种更好。你必须在你的具体配置上进行测试。"
在某些情况下,训练专门的草稿模型可能仍然值得。但正如Timor指出的,研究人员开发的算法显著降低了推测解码的采用门槛。
**更多研究有待进行**
Timor对推测解码的研究并未止步于此。如前所述,团队开发了三种算法。
第三种叫做字符串级拒绝采样(SLRS),旨在解决基于字符串验证方法相对较差的接受率问题。
"它使用一个通用的草稿模型,考虑字符串而不是Token的概率,我们证明了它能提高接受率,"Timor说。"问题是在运行时计算这个通用草稿模型在计算上很昂贵,所以你必须重新设计词汇表才能让这个算法实用。"
团队还在寻找解决模型词汇表爆炸性增长问题的方法,并让草稿模型运行得更快。
"词汇表正在变得庞大。比如Llama 4有大约20万个Token,"Timor说,并补充说其中大部分实际上并未使用,却增加了延迟。"我们目前正在努力缩小词汇表。"
他说,这项研究正在进行中。
好文章,需要你的鼓励
数据分析平台公司Databricks完成10亿美元K轮融资,公司估值超过1000亿美元,累计融资总额超过200亿美元。公司第二季度收入运营率达到40亿美元,同比增长50%,AI产品收入运营率超过10亿美元。超过650家客户年消费超过100万美元,净收入留存率超过140%。资金将用于扩展Agent Bricks和Lakebase业务及全球扩张。
Meta与特拉维夫大学联合研发的VideoJAM技术,通过让AI同时学习外观和运动信息,显著解决了当前视频生成模型中动作不连贯、违反物理定律的核心问题。该技术仅需添加两个线性层就能大幅提升运动质量,在多项测试中超越包括Sora在内的商业模型,为AI视频生成的实用化应用奠定了重要基础。
医疗信息管理平台Predoc宣布获得3000万美元新融资,用于扩大运营规模并在肿瘤科、研究网络和虚拟医疗提供商中推广应用。该公司成立于2022年,利用人工智能技术提供端到端平台服务,自动化病历检索并整合为可操作的临床洞察。平台可实现病历检索速度提升75%,临床审查时间减少70%,旨在增强而非替代临床判断。
上海AI实验室发布OmniAlign-V研究,首次系统性解决多模态大语言模型人性化对话问题。该研究创建了包含20万高质量样本的训练数据集和MM-AlignBench评测基准,通过创新的数据生成和质量管控方法,让AI在保持技术能力的同时显著提升人性化交互水平,为AI价值观对齐提供了可行技术路径。