研究领导者呼吁科技行业监控AI的"思维"过程

来自OpenAI、谷歌DeepMind、Anthropic以及众多公司和非营利组织的AI研究人员在周二发表的一篇立场文件中，呼吁深入研究监控推理模型所谓"思维"的技术。

AI推理模型（如OpenAI的o3和DeepSeek的R1）的一个关键特征是其思维链或CoT——这是一个外化过程，AI模型通过该过程解决问题，类似于人类使用草稿纸来解决困难数学问题的方式。推理模型是驱动AI智能体的核心技术，文件作者认为，随着AI智能体变得更加普及和强大，CoT监控可能是保持其受控的核心方法。

"CoT监控为前沿AI的安全措施提供了宝贵的补充，让我们能够罕见地窥见AI智能体如何做出决策，"研究人员在立场文件中表示。"然而，无法保证当前的可见性程度会持续存在。我们鼓励研究界和前沿AI开发者充分利用CoT监控能力，并研究如何保持这种能力。"

立场文件要求领先的AI模型开发者研究什么使CoT具有"可监控性"——换句话说，哪些因素可以增加或减少对AI模型真正得出答案方式的透明度。文件作者表示，CoT监控可能是理解AI推理模型的关键方法，但也指出这种方法可能很脆弱，警告不要采取任何可能降低其透明度或可靠性的干预措施。

文件作者还呼吁AI模型开发者跟踪CoT监控能力，并研究该方法如何在未来作为安全措施实施。

该文件的知名签署者包括OpenAI首席研究官Mark Chen、Safe Superintelligence CEO Ilya Sutskever、诺贝尔奖获得者Geoffrey Hinton、谷歌DeepMind联合创始人Shane Legg、xAI安全顾问Dan Hendrycks以及Thinking Machines联合创始人John Schulman。第一作者包括来自英国AI安全研究所和Apollo Research的领导者，其他签署者来自METR、亚马逊、Meta和加州大学伯克利分校。

这篇文件标志着AI行业许多领导者在推动AI安全研究方面的团结时刻。这发生在科技公司陷入激烈竞争的时期——Meta以数百万美元的报价从OpenAI、谷歌DeepMind和Anthropic挖走顶级研究人员。最受追捧的研究人员是那些构建AI智能体和AI推理模型的专家。

"我们正处于这个关键时刻，我们有了这个新的思维链技术。它看起来很有用，但如果人们不真正专注于它，它可能在几年内消失，"参与该文件工作的OpenAI研究员Bowen Baker在接受TechCrunch采访时说。"对我来说，发表这样的立场文件是在此之前获得更多研究和关注的机制。"

OpenAI在2024年9月公开发布了第一个AI推理模型o1的预览版。此后几个月，科技行业迅速发布了展示类似能力的竞争产品，来自谷歌DeepMind、xAI和Anthropic的一些模型在基准测试中甚至表现出更先进的性能。

然而，对于AI推理模型如何工作的理解相对较少。虽然AI实验室在过去一年中擅长提高AI的性能，但这并不一定转化为对它们如何得出答案的更好理解。

Anthropic一直是行业中理解AI模型真正工作原理的领导者之一——这个领域被称为可解释性。今年早些时候，CEO Dario Amodei宣布承诺在2027年前破解AI模型的黑盒子，并在可解释性方面投入更多资金。他也呼吁OpenAI和谷歌DeepMind更多地研究这个话题。

Anthropic的早期研究表明，CoT可能不是这些模型得出答案方式的完全可靠指标。与此同时，OpenAI研究人员表示，CoT监控有朝一日可能成为跟踪AI模型对齐和安全性的可靠方式。

像这样的立场文件的目标是提升信号并吸引更多对新兴研究领域（如CoT监控）的关注。OpenAI、谷歌DeepMind和Anthropic等公司已经在研究这些话题，但这篇文件可能会鼓励更多资金和研究投入到这个领域。