如果谷歌的AI研究人员有幽默感的话,他们或许会把周二发布的这项超高效AI内存压缩算法命名为"魔笛手"——至少互联网用户是这么认为的。
这个笑话源自HBO电视剧《硅谷》中的虚构初创公司Pied Piper(魔笛手)。该剧从2014年播出至2019年,讲述了创业公司创始人在科技生态系统中的奋斗历程,他们面临着来自大公司的竞争、融资、技术和产品问题等挑战。
剧中魔笛手公司的突破性技术是一种压缩算法,能够在近无损压缩的前提下大幅减少文件大小。谷歌研究部门的新技术TurboQuant同样专注于极致压缩而不损失质量,但应用于AI系统的核心瓶颈领域,这正是引发比较的原因。
谷歌研究部门将这项技术描述为一种在不影响性能的前提下缩减AI工作内存的新方法。据研究人员介绍,该压缩方法使用一种向量量化形式来清除AI处理过程中的缓存瓶颈,本质上让AI能够记住更多信息,同时占用更少空间并保持准确性。
研究团队计划在下个月的ICLR 2026会议上展示他们的研究成果,同时介绍实现这种压缩的两种方法:量化方法PolarQuant和一种名为QJL的训练优化方法。
虽然理解其中涉及的数学原理可能只有研究人员和计算机科学家能够做到,但这一结果让整个科技行业都为之兴奋。
如果TurboQuant能在现实世界成功应用,它可以通过将AI运行时"工作内存"(即KV缓存)减少"至少6倍"来降低AI运行成本。
一些人,比如Cloudflare首席执行官马修·普林斯,甚至称这是谷歌的DeepSeek时刻——这里指的是中国AI模型DeepSeek带来的效率提升,该模型在更差的芯片上以远低于竞争对手的成本进行训练,同时在结果上保持竞争力。
不过值得注意的是,TurboQuant尚未广泛部署,目前仍是实验室阶段的突破。
这使得将其与DeepSeek甚至虚构的魔笛手公司进行比较变得更加困难。在电视剧中,魔笛手的技术将彻底改变计算规则。而TurboQuant可能带来效率提升和在推理过程中需要更少内存的系统。但它不一定能解决AI驱动的更广泛的RAM短缺问题,因为它只针对推理内存,而不是训练——后者仍然需要大量的RAM。
Q&A
Q1:TurboQuant是什么技术?
A:TurboQuant是谷歌研究部门发布的一种超高效AI内存压缩算法,它使用向量量化形式来清除AI处理过程中的缓存瓶颈,能够在不影响性能的前提下缩减AI工作内存,让AI记住更多信息的同时占用更少空间并保持准确性。
Q2:为什么网友称TurboQuant为现实版"魔笛手"?
A:这个比较源自HBO电视剧《硅谷》中的虚构公司Pied Piper(魔笛手),该公司的核心技术是能够在近无损压缩前提下大幅减少文件大小的压缩算法。TurboQuant同样专注于极致压缩而不损失质量,因此网友将其比作现实版的"魔笛手"。
Q3:TurboQuant能带来什么实际效果?
A:如果成功应用,TurboQuant可以将AI运行时的工作内存(KV缓存)减少至少6倍,从而大幅降低AI运行成本。不过该技术目前仍在实验室阶段,尚未广泛部署,而且只针对推理内存,无法解决AI训练过程中的RAM短缺问题。
好文章,需要你的鼓励
Uber年度失物报告首次纳入无人驾驶出租车数据。过去一年,乘客在Uber平台的机器人出租车中遗留了数千件物品,包括手机、钥匙、钱包等常见物品,以及假牙、15磅溜溜球等奇特物件。乘客可通过App联系客服找回失物,支付15美元即可享受同城配送,或前往车辆停放站自取。Uber表示,将依托现有运营体系为自动驾驶业务提供全面支持,计划2025年底前在全球15座城市开通无人驾驶打车服务。
TREK方法通过引入外部验证解法对AI进行短期校准,解决了GRPO训练在困难题目上因无法探索正确解法区域而陷入瓶颈的问题,在数学推理和智能体任务上均取得明显提升。
Uber周三发布了一款基于现代Ioniq 5改装的数据采集原型车,搭载14个摄像头、8个固态激光雷达和9个雷达,通过英伟达双驱Thor计算机处理数据。Uber计划今年在全球部署500辆此类车辆,每月可采集200万英里高保真驾驶数据,供Avride、Waymo、WeRide等30余家自动驾驶合作伙伴使用。这是Uber自2020年出售自动驾驶部门以来首次自主组装车辆,也是其AV Labs部门的重要进展。
SkillOpt-Lite通过将智能体技能优化形式化为零阶优化问题,提出极简流水线:把执行轨迹存为文本文件,让AI直接用文件系统工具翻日志、找规律、改技能,配合独立验证门控,比复杂的多智能体优化框架跑得更快效果更好,并自然延伸至执行框架自动优化(HarnessOpt),使轻量模型能够超越大模型。