一支来自 Zoom Communications 的研究团队开发出了一项突破性技术,这项技术可能会大幅降低人工智能系统在处理复杂推理问题时所需的成本和计算资源,有望从根本上改变企业大规模部署 AI 的方式。
这种名为 Chain of Draft (CoD) 的方法使大语言模型能够用最少的文字来解决问题——仅使用当前方法所需文本量的 7.6%,同时保持或甚至提高准确性。这项研究成果已于上周发表在研究资料库 arXiv 上。
"通过减少冗长表述并专注于关键见解,CoD 在各种推理任务中仅使用 7.6% 的 token 就能达到或超越 CoT 的准确性,显著降低了成本和延迟,"由 Zoom 研究员 Silei Xu 领导的作者团队写道。
Chain of Draft (红色) 在四个推理任务中使用显著更少的 token 的同时,保持或超越了 Chain of Thought (黄色) 的准确性,展示了简洁的 AI 推理如何在不牺牲性能的情况下降低成本。(来源:arxiv.org)
如何通过"少即是多"在不牺牲准确性的情况下改变 AI 推理
Chain of Draft 的灵感来自人类解决复杂问题的方式。在解决数学问题或逻辑难题时,人们通常只会以简略的形式记下关键信息,而不是详细阐述每个细节。
研究人员在论文中解释道:"在解决复杂任务时——无论是解决数学问题、写作还是编程——我们往往只记录能帮助我们取得进展的关键信息。通过模仿这种行为,大语言模型可以专注于推进解决方案,而不会产生冗长推理的开销。"
研究团队在多个基准测试中验证了他们的方法,包括算术推理 (GSM8k)、常识推理 (日期理解和体育理解) 以及符号推理 (硬币翻转任务)。
在一个涉及 Claude 3.5 Sonnet 处理体育相关问题的显著案例中,Chain of Draft 方法将平均输出从 189.4 个 token 减少到仅 14.3 个 token——减少了 92.4%——同时准确率从 93.2% 提高到 97.3%。
降低企业 AI 成本:简洁机器推理的商业价值
AI 研究员 Ajith Vallath Prabhakar 在分析该论文时指出:"对于每月处理 100 万次推理查询的企业而言,CoD 可以将成本从 3,800 美元 (CoT) 降低到 760 美元,每月节省超过 3,000 美元。"
这项研究在企业 AI 部署的关键时期应运而生。随着企业increasingly将复杂的 AI 系统整合到运营中,计算成本和响应时间已成为广泛应用的重要障碍。
2022 年推出的 Chain-of-Thought (CoT) 等当前最先进的推理技术,通过将问题分解为逐步推理,大大提高了 AI 解决复杂问题的能力。但这种方法会生成冗长的解释,消耗大量计算资源并增加响应延迟。
Prabhakar 表示:"CoT 提示的冗长特性导致了大量的计算开销、增加的延迟和更高的运营支出。"
实施 AI 效率:无需重新训练即可立即产生业务影响
对企业而言,Chain of Draft 的特别之处在于其实施的简单性。与许多需要昂贵的模型重训练或架构更改的 AI 进展不同,CoD 可以通过简单的提示修改立即在现有模型上部署。
Prabhakar 解释说:"已经使用 CoT 的组织可以通过简单的提示修改切换到 CoD。"
这项技术对于对延迟敏感的应用尤其有价值,如实时客户支持、移动 AI、教育工具和金融服务,在这些领域即使很小的延迟也会显著影响用户体验。
行业专家认为,其影响不仅限于成本节省。通过使高级 AI 推理变得更容易获得和负担得起,Chain of Draft 可能会让较小的组织和资源受限的环境也能使用复杂的 AI 功能。
随着 AI 系统的不断发展,像 Chain of Draft 这样的技术凸显了效率与原始能力并重的趋势。对于在快速变化的 AI 领域中航行的企业来说,这些优化可能与底层模型本身的改进一样有价值。
"随着 AI 模型继续发展,优化推理效率将与提高其原始能力一样重要,"Prabhakar 总结道。
该研究的代码和数据已在 GitHub 上公开,允许组织在自己的 AI 系统中实施和测试这种方法。
好文章,需要你的鼓励
本文评测了六款控制台平铺终端复用器工具。GNU Screen作为老牌工具功能强大但操作复杂,Tmux更现代化但学习曲线陡峭,Byobu为前两者提供友好界面,Zellij用Rust编写界面简洁易用,DVTM追求极简主义,Twin提供类似TurboVision的文本界面环境。每款工具都有各自特点和适用场景。
韩国汉阳大学联合高通AI研究院开发出InfiniPot-V框架,解决了移动设备处理长视频时的内存限制问题。该技术通过时间冗余消除和语义重要性保留两种策略,将存储需求压缩至原来的12%,同时保持高准确性,让手机和AR眼镜也能实时理解超长视频内容。
网络安全公司Snyk宣布收购瑞士人工智能安全研究公司Invariant Labs,收购金额未公开。Invariant Labs从苏黎世联邦理工学院分拆成立,专注于帮助开发者构建安全可靠的AI代理工具和框架。该公司提供Explorer运行时观察仪表板、Gateway轻量级代理、Guardrails策略引擎等产品,并在工具中毒和模型上下文协议漏洞等新兴AI威胁防护方面处于领先地位。此次收购将推进Snyk保护下一代AI原生应用的使命。
纽约大学研究团队通过INT-ACT测试套件全面评估了当前先进的视觉-语言-动作机器人模型,发现了一个普遍存在的"意图-行动差距"问题:机器人能够正确理解任务和识别物体,但在实际动作执行时频频失败。研究还揭示了端到端训练会损害原有语言理解能力,以及多模态挑战下的推理脆弱性,为未来机器人技术发展提供了重要指导。