来自OpenAI、谷歌DeepMind、Anthropic以及众多公司和非营利组织的AI研究人员在周二发表的一篇立场文件中,呼吁深入研究监控推理模型所谓"思维"的技术。
AI推理模型(如OpenAI的o3和DeepSeek的R1)的一个关键特征是其思维链或CoT——这是一个外化过程,AI模型通过该过程解决问题,类似于人类使用草稿纸来解决困难数学问题的方式。推理模型是驱动AI智能体的核心技术,文件作者认为,随着AI智能体变得更加普及和强大,CoT监控可能是保持其受控的核心方法。
"CoT监控为前沿AI的安全措施提供了宝贵的补充,让我们能够罕见地窥见AI智能体如何做出决策,"研究人员在立场文件中表示。"然而,无法保证当前的可见性程度会持续存在。我们鼓励研究界和前沿AI开发者充分利用CoT监控能力,并研究如何保持这种能力。"
立场文件要求领先的AI模型开发者研究什么使CoT具有"可监控性"——换句话说,哪些因素可以增加或减少对AI模型真正得出答案方式的透明度。文件作者表示,CoT监控可能是理解AI推理模型的关键方法,但也指出这种方法可能很脆弱,警告不要采取任何可能降低其透明度或可靠性的干预措施。
文件作者还呼吁AI模型开发者跟踪CoT监控能力,并研究该方法如何在未来作为安全措施实施。
该文件的知名签署者包括OpenAI首席研究官Mark Chen、Safe Superintelligence CEO Ilya Sutskever、诺贝尔奖获得者Geoffrey Hinton、谷歌DeepMind联合创始人Shane Legg、xAI安全顾问Dan Hendrycks以及Thinking Machines联合创始人John Schulman。第一作者包括来自英国AI安全研究所和Apollo Research的领导者,其他签署者来自METR、亚马逊、Meta和加州大学伯克利分校。
这篇文件标志着AI行业许多领导者在推动AI安全研究方面的团结时刻。这发生在科技公司陷入激烈竞争的时期——Meta以数百万美元的报价从OpenAI、谷歌DeepMind和Anthropic挖走顶级研究人员。最受追捧的研究人员是那些构建AI智能体和AI推理模型的专家。
"我们正处于这个关键时刻,我们有了这个新的思维链技术。它看起来很有用,但如果人们不真正专注于它,它可能在几年内消失,"参与该文件工作的OpenAI研究员Bowen Baker在接受TechCrunch采访时说。"对我来说,发表这样的立场文件是在此之前获得更多研究和关注的机制。"
OpenAI在2024年9月公开发布了第一个AI推理模型o1的预览版。此后几个月,科技行业迅速发布了展示类似能力的竞争产品,来自谷歌DeepMind、xAI和Anthropic的一些模型在基准测试中甚至表现出更先进的性能。
然而,对于AI推理模型如何工作的理解相对较少。虽然AI实验室在过去一年中擅长提高AI的性能,但这并不一定转化为对它们如何得出答案的更好理解。
Anthropic一直是行业中理解AI模型真正工作原理的领导者之一——这个领域被称为可解释性。今年早些时候,CEO Dario Amodei宣布承诺在2027年前破解AI模型的黑盒子,并在可解释性方面投入更多资金。他也呼吁OpenAI和谷歌DeepMind更多地研究这个话题。
Anthropic的早期研究表明,CoT可能不是这些模型得出答案方式的完全可靠指标。与此同时,OpenAI研究人员表示,CoT监控有朝一日可能成为跟踪AI模型对齐和安全性的可靠方式。
像这样的立场文件的目标是提升信号并吸引更多对新兴研究领域(如CoT监控)的关注。OpenAI、谷歌DeepMind和Anthropic等公司已经在研究这些话题,但这篇文件可能会鼓励更多资金和研究投入到这个领域。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。