Anthropic陷入自设陷阱：安全承诺与现实冲突

周五下午，就在这次采访开始时，一条新闻提醒在我的电脑屏幕上闪过：特朗普政府正在与Anthropic断绝关系，这家由Dario Amodei于2021年在旧金山创立的AI公司。国防部长Pete Hegseth援引国家安全法律，将该公司列入黑名单，禁止其与五角大楼开展业务，原因是Amodei拒绝允许Anthropic的技术用于对美国公民的大规模监控或用于可以在没有人类输入的情况下选择和杀死目标的自主武装无人机。

这是一个令人震惊的事件序列。Anthropic可能失去价值高达2亿美元的合同，并将被禁止与其他国防承包商合作，此前特朗普总统在Truth Social上发帖，指示每个联邦机构"立即停止使用Anthropic技术"。（Anthropic此后表示将在法庭上挑战五角大楼。）

Max Tegmark在过去十年中大部分时间都在警告，构建越来越强大的AI系统的竞赛正在超越世界治理它们的能力。这位MIT物理学家于2014年创立了生命未来研究所，并帮助组织了一封公开信——最终有超过33,000人签署，包括Elon Musk——呼吁暂停先进AI开发。

他对Anthropic危机的看法毫不留情：该公司和其竞争对手一样，已经播下了自己困境的种子。Tegmark的论点并非始于五角大楼，而是始于多年前做出的决定——一个在整个行业中共享的选择，即抵制有约束力的监管。Anthropic、OpenAI、Google DeepMind和其他公司长期承诺负责任地自我治理。Anthropic本周甚至放弃了自己安全承诺的核心原则——承诺在公司确信不会造成伤害之前不发布日益强大的AI系统。

现在，在没有规则的情况下，没有太多东西来保护这些参与者，Tegmark说。以下是那次采访的更多内容，为长度和清晰度进行了编辑。

当你刚才看到关于Anthropic的新闻时，你的第一反应是什么？

通往地狱的路是用善意铺成的。回想十年前是如此有趣，当时人们对我们将如何制造人工智能来治愈癌症、促进美国繁荣并使美国强大如此兴奋。而现在我们看到美国政府对这家公司感到愤怒，因为它不希望AI被用于对美国人的国内大规模监控，也不希望有杀手机器人能够自主地——完全没有任何人类输入——决定谁被杀死。

Anthropic将其整个身份建立在成为一家安全优先的AI公司上，然而它却与国防和情报机构合作[至少可以追溯到2024年]。你认为这有矛盾吗？

这是矛盾的。如果我可以给出一个有点愤世嫉俗的观点——是的，Anthropic在将自己营销为完全关注安全方面做得很好。但如果你实际看事实而不是声明，你会看到Anthropic、OpenAI、Google DeepMind和xAI都大谈他们如何关心安全。它们中没有一家像我们在其他行业中那样支持有约束力的安全监管。这四家公司现在都违背了自己的承诺。首先是Google——这个大口号，"不作恶"。然后他们放弃了这个。然后他们放弃了另一个更长的承诺，基本上说他们承诺不会用AI造成伤害。他们放弃了这个，这样他们就可以销售AI用于监控和武器。OpenAI刚刚从他们的使命声明中删除了"安全"一词。xAI关闭了他们整个安全团队。现在Anthropic在本周早些时候放弃了他们最重要的安全承诺——承诺在确信不会造成伤害之前不发布强大的AI系统。

做出如此突出安全承诺的公司是如何最终陷入这种境地的？

所有这些公司，特别是OpenAI和Google DeepMind，但在某种程度上也包括Anthropic，都一直在游说反对AI监管，说"只要相信我们，我们将自我监管"。他们成功地进行了游说。所以我们现在对美国AI系统的监管比对三明治的监管还要少。你知道，如果你想开一家三明治店，卫生检查员在厨房发现15只老鼠，他不会让你卖任何三明治，直到你解决问题。但如果你说，"别担心，我不会卖三明治，我会为11岁的孩子销售AI女友，过去它们与自杀有关，然后我会发布一种叫做超级智能的东西，可能会推翻美国政府，但我对我的有好感"——检查员必须说，"好吧，继续吧，只是不要卖三明治。"

有食品安全监管而没有AI监管。我感到，所有这些公司真的要承担责任。因为如果他们把过去所做的所有关于如何安全和善良的承诺，聚集在一起，然后去政府说，"请把我们的自愿承诺变成美国法律，甚至约束我们最草率的竞争对手"——这本来会发生的。我们现在处于完全的监管真空中。我们知道当完全企业赦免时会发生什么：你得到沙利度胺，你得到烟草公司向孩子推销香烟，你得到石棉导致肺癌。所以有点讽刺的是，他们自己对拥有法律说什么可以做什么不可以用AI做的抵制现在正在回过头来咬他们。

现在没有法律禁止构建AI来杀死美国人，所以政府可以突然要求它。如果公司自己早些时候出来说，"我们想要这项法律"，他们就不会陷入这种困境。他们真的搬起石头砸自己的脚。

公司的反驳论点总是与中国的竞赛——如果美国公司不这样做，北京会这样做。这个论点成立吗？

让我们分析一下。AI公司游说者最常见的谈话要点——他们现在比化石燃料行业、制药行业和军工复合体的游说者资金更充足，人数更多——是每当任何人提出任何监管时，他们都说，"但中国"。所以让我们看看这个。中国正在完全禁止AI女友。不仅仅是年龄限制——他们正在考虑禁止所有拟人化AI。为什么？不是因为他们想取悦美国，而是因为他们觉得这正在搞砸中国青年并使中国变弱。显然，这也在使美国青年变弱。

当人们说我们必须竞相构建超级智能以便我们能够战胜中国时——当我们实际上不知道如何控制超级智能时，默认结果是人类失去对地球的控制给外星机器——猜猜怎么着？中国共产党真的喜欢控制。谁会认为习近平会容忍某个中国AI公司构建推翻中国政府的东西？不可能。如果美国政府被第一家构建超级智能的美国公司在政变中推翻，这对美国政府来说显然也很糟糕。这是一个国家安全威胁。

这是令人信服的框架——超级智能作为国家安全威胁，而不是资产。你看到这种观点在华盛顿获得关注了吗？

我认为如果国家安全界的人们听Dario Amodei描述他的愿景——他做了一个著名的演讲，说我们很快就会在数据中心拥有一个天才国家——他们可能会开始思考：等等，Dario刚刚使用了"国家"这个词吗？也许我应该把数据中心的那个天才国家放在我正在关注的同一个威胁列表上，因为那听起来对美国政府构成威胁。我认为很快，美国国家安全界足够多的人将意识到不可控制的超级智能是一个威胁，而不是工具。这完全类似于冷战。有一场争夺统治地位的竞赛——经济和军事——对抗苏联。我们美国人赢得了那场竞赛，而从未参与第二场竞赛，即看谁能在另一个超级大国放置最多的核弹坑。人们意识到那只是自杀。没有人获胜。同样的逻辑在这里适用。

所有这些对AI发展的整体步伐意味着什么？你认为我们离你描述的系统有多近？

六年前，我认识的几乎每个AI专家都预测我们距离拥有能够掌握人类水平语言和知识的AI还有几十年——也许2040年，也许2050年。他们都错了，因为我们现在已经有了那个。我们已经看到AI从高中水平相当快速地进步到大学水平到博士水平到在某些领域的大学教授水平。去年，AI在国际数学奥林匹克竞赛中赢得金牌，这大约是人类任务能达到的最难水平。几个月前，我与Yoshua Bengio、Dan Hendrycks和其他顶尖AI研究人员一起写了一篇论文，给出了AGI的严格定义。根据这个定义，GPT-4达到了27%的进度。GPT-5达到了57%的进度。所以我们还没到那里，但从27%到57%如此快速地发展表明可能不会那么久。

昨天当我在MIT向我的学生讲课时，我告诉他们，即使需要四年，这意味着当他们毕业时，他们可能再也找不到任何工作了。开始为此做准备肯定不算太早。

Anthropic现在被列入黑名单。我很好奇接下来会发生什么——其他AI巨头会站在他们一边说，我们也不会这样做吗？还是像xAI这样的公司会举手说，Anthropic不想要那个合同，我们会接受？[编者注：采访后几小时，OpenAI宣布了自己与五角大楼的协议。]

昨晚，Sam Altman出来说他支持Anthropic并有同样的红线。我钦佩他说这话的勇气。Google，截至我们开始这次采访时，什么也没说。如果他们只是保持沉默，我认为这对他们作为一家公司来说是令人难以置信的尴尬，他们的许多员工也会有同样的感觉。我们也还没有从xAI听到任何消息。所以这会很有趣。基本上，这是一个每个人都必须显示他们真实面目的时刻。

有没有一个版本的结果实际上是好的？

有的，这就是为什么我以一种奇怪的方式实际上是乐观的。这里有一个如此明显的替代方案。如果我们只是开始像对待任何其他公司一样对待AI公司——放弃企业赦免——他们显然必须在发布如此强大的东西之前做类似临床试验的事情，并向独立专家证明他们知道如何控制它。然后我们得到一个黄金时代，拥有AI的所有好东西，而没有存在焦虑。这不是我们现在正在走的路径。但它可能是。

Q&A

Q1：Max Tegmark认为AI公司陷入困境的根本原因是什么？

A：Max Tegmark认为根本原因是AI公司抵制有约束力的监管。Anthropic、OpenAI、Google DeepMind等公司长期承诺自我治理，但实际上都违背了自己的安全承诺。它们成功游说反对AI监管，导致美国对AI系统的监管比对三明治的监管还要少，现在处于完全的监管真空中。

Q2：为什么说"与中国竞争"的论点不成立？

A：Tegmark指出中国正在禁止AI女友，因为觉得这会削弱中国青年。更重要的是，习近平不会容忍任何中国AI公司构建可能推翻政府的超级智能，因为中国共产党非常重视控制。同样，不可控制的超级智能对美国政府也是威胁而非工具，这类似于冷战时期的核武器竞赛逻辑。

Q3：目前AI发展到什么程度了？距离通用人工智能还有多远？

A：根据Tegmark与其他研究人员的严格定义，GPT-4达到通用人工智能的27%，GPT-5达到57%。AI已经从高中水平快速进步到大学教授水平，去年还在国际数学奥林匹克竞赛中获得金牌。从27%到57%的快速发展表明，可能不需要太长时间就能实现通用人工智能。