Snowflake Inc. 今天宣布,它正在将一项技术整合到其托管的大语言模型中,据称这项技术可以显著降低人工智能推理的成本和时间。AI 推理是指使用经过训练的模型基于新的输入数据进行预测或生成输出。
这项名为 SwiftKV 的技术是由 Snowflake AI Research 开发并开源的大语言模型优化技术。它通过复用早期层的隐藏状态信息来提高推理过程的效率,从而避免重复计算后续层的键值缓存。
键值缓存就像语言模型的记忆快捷方式。它们存储输入文本的重要信息,这样模型在生成或处理更多文本时就不必每次都重新计算。这使得模型运行更快、更高效。
Snowflake 表示,与不使用 SwiftKV 相比,这项技术可以提高大语言模型推理吞吐量 50%,并将开源的 Llama 3.3 70B 和 Llama 3.1 405B 模型的推理成本降低了高达 75%。
该公司最初将这项技术与虚拟大语言模型(一种涵盖端到端推理的类似技术)集成,并在这两个 Llama 模型中提供。同样的优化也将添加到 Snowflake Cortex AI 中的其他模型系列中。Snowflake Cortex AI 是 Snowflake 数据云平台的一个功能,使企业能够直接在 Snowflake 中构建、部署和扩展 AI 和机器学习模型。不过,Snowflake 没有具体说明支持其他模型的时间表。
通过避免重复计算,SwiftKV 减少了内存使用和计算开销,实现了更快速和更高效的解码,特别是在实时 AI 应用中的自回归任务。这些任务涉及一次生成一个 token(一个词或词的一部分),每个词都是基于之前生成的词来预测的。这个过程通常用于聊天机器人、实时翻译和文本生成等对速度要求较高的应用中。
该公司表示,SwiftKV 的性能提升建立在大部分计算资源在输入或提示阶段被消耗的假设之上。许多业务任务使用长问题并生成短答案,这意味着大部分计算能力都用于解释提示。Snowflake 在其工程博客上发布的分布图显示,典型的 Snowflake 客户工作负载中输入 token 是输出 token 的 10 倍。
Snowflake 的 AI 研究团队负责人兼杰出软件工程师 Yuxiong He 表示:"SwiftKV 不区分输入和输出。当我们启用 SwiftKV 时,模型重新布线同时发生在输入处理和输出生成过程中。我们仅在输入处理(也就是预填充计算)上实现计算减少。"
SwiftKV 通过重用已完成的工作而不是重复相同的计算来节省时间,将额外步骤减少一半,同时保持准确性的最小损失。它还使用了一种称为"自蒸馏"的技巧来确保记住所需的一切,因此答案质量不会改变。在基准测试中,Snowflake 表示准确率下降不到一个百分点。
He 表示:"两者之间存在很小的质量差距,但如果客户特别关注这一领域,他们可以选择使用 Cortex AI 中的基础 Llama 模型。"
Snowflake 表示,这项技术能够在多种用例中实现性能优化。它提高了非结构化文本处理任务(如摘要、翻译和情感分析)的吞吐量。在对延迟敏感的场景中,如聊天机器人或 AI 副驾驶,SwiftKV 将生成首个 token 的时间(即模型生成并返回第一个输出所需的时间)减少了高达 50%。
好文章,需要你的鼓励
这项来自苹果公司的研究揭示了视频大语言模型评测的两大关键问题:许多测试问题不看视频就能回答正确,且打乱视频帧顺序后模型表现几乎不变。研究提出VBenchComp框架,将视频问题分为四类:语言模型可回答型、语义型、时序型和其他类型,发现在主流评测中高达70%的问题实际上未测试真正的视频理解能力。通过重新评估现有模型,研究团队证明单一总分可能掩盖关键能力差距,并提出了更高效的评测方法,为未来视频AI评测提供了新方向。
这篇来自KAIST AI研究团队的论文提出了"差分信息分布"(DID)这一创新概念,为理解直接偏好优化(DPO)提供全新视角。研究证明,当偏好数据编码了从参考策略到目标策略所需的差分信息时,DPO中的对数比率奖励形式是唯一最优的。通过分析DID熵,研究解释了对数似然位移现象,并发现高熵DID有利于通用指令跟随,而低熵DID适合知识密集型问答。这一框架统一了对DPO目标、偏好数据结构和策略行为的理解,为语言模型对齐提供理论支持。
VidText是一个全新的视频文本理解基准,解决了现有评估体系的关键缺口。它涵盖多种现实场景和多语言内容,提出三层评估框架(视频级、片段级、实例级),并配对感知与推理任务。对18个先进多模态模型的测试显示,即使最佳表现的Gemini 1.5 Pro也仅达46.8%平均分,远低于人类水平。研究揭示输入分辨率、OCR能力等内在因素和辅助信息、思维链推理等外部因素对性能有显著影响,为未来视频文本理解研究提供了方向。
ZeroGUI是一项突破性研究,实现了零人工成本下的GUI代理自动化在线学习。由上海人工智能实验室和清华大学等机构联合开发,这一框架利用视觉-语言模型自动生成训练任务并提供奖励反馈,使AI助手能够自主学习操作各种图形界面。通过两阶段强化学习策略,ZeroGUI显著提升了代理性能,在OSWorld环境中使UI-TARS和Aguvis模型分别获得14%和63%的相对改进。该研究彻底消除了传统方法对昂贵人工标注的依赖,为GUI代理技术的大规模应用铺平了道路。