通向超级智能的失控之路可能让人类劳动彻底淘汰

在里斯本网络峰会上，当创业推介和技术演示热火朝天时，马克斯·泰格马克传达了一个令人清醒的信息：人类可能正在朝着自身被淘汰的方向狂奔。这位麻省理工学院物理学家兼未来生命研究所所长已经花了十多年时间警告人工超级智能的生存风险，现在他认为，这种威胁比以往任何时候都更加接近。

"在游说团体介入之前，曾经有过明确的定义，"泰格马克在峰会上接受采访时告诉我。他指的是超级智能，这个术语最初由哲学家尼克·博斯特罗姆在其2014年具有影响力的著作中推广。这个概念描述的是在几乎所有领域都具有远超人类智能水平的通用人工智能系统；不仅仅在国际象棋或语言翻译方面更出色，而是在创造力、问题解决、科学推理以及所有其他认知任务方面都更加优越。

这个想法并不新鲜。1965年，数学家I.J.古德提出了"智能爆炸"的概念，警告说一台能够设计更好机器的超智能机器将引发递归式自我改进循环，将人类智能远远甩在身后。甚至著名计算机科学家和数学家艾伦·图灵在1951年就讨论了比人类聪明得多的机器可能如何取得控制权。"最近，就像任何流行的术语一样，它被营销目的所利用，"泰格马克讽刺地观察道，他指的是马克·扎克伯格试图将这个术语与智能眼镜等消费产品联系起来的做法。

虽然Meta确实使用"超级智能"这个术语，但应该注意的是，其他公司通常提及的是一个相似但不同的概念：AGI，即通用人工智能的缩写。当然，并非所有人对后者的定义都相同，但一般来说，当AI在大多数领域展现出与人类智能水平相当的能力时，就被认为实现了AGI。

超级智能远远超越了这一点。但就时间而言，泰格马克认为，这两个里程碑比人们想象的更接近，因为一旦AGI存在，它就可能通过古德几十年前预测的递归式自我改进迅速演化为超级智能。

失控的前沿领域

美国发现自己处于一种奇特的境地：人工超级智能可能在几乎所有经济有价值的工作中超越人类能力，引发人类失去对这些超智能机器控制的担忧，并导致不可预测的后果。然而，开发这些系统的行业却几乎没有监管。

"我们在美国处于这样一种滑稽的境地，对三明治的监管比对AI的监管还要多，"泰格马克说道，他的挫败感显而易见。他指出了最近的悲剧：青少年在与聊天机器人对话后自杀，这种事件在受监管的行业中是不可想象的。"如果有人推出百忧解的新竞争对手，他们必须进行临床试验，确保这不会大大增加用户的自杀风险。但这些事情可能在AI领域发生，因为这个行业完全没有监管。"

与制药业的比较是刻意的。泰格马克讲述了沙利度胺的故事，这是一种在1960年代向孕妇推销的药物，导致超过10,000名婴儿出生时有严重畸形。公众的强烈抗议导致了FDA的创立和现代临床试验要求。"所有行业开始时都没有监管，"他解释道。"通常是发生了坏事，然后才有监管。"

与人工智能相关的最常见担忧之一是它会造成大规模失业，甚至可能导致整个职业的消失。有了超级智能，情况可能会更糟。"根据定义，它可以做我们能做的一切，但做得更好，"泰格马克解释道。"人类不可能通过工作获得报酬，因为超级智能可以做得更好更便宜。你和我都不会有工作。没有人会有工作。"

有人说这些担忧是牵强附会的，AI最终会创造比消除的工作更多的就业机会。然而，未来生命研究所最近发起的禁止创造"超级智能"的请愿已经收集了超过127,000个签名，其中包括名人和该领域的杰出人物。

FLI在10月对2,000名美国成年人进行的一项调查显示，64%的人反对创造先进AI，其他调查，如皮尤研究中心最近进行的调查，证实了美国公众对这项技术的态度正在改变：最初的热情逐渐让位于负面评价。

过去，FLI类似的呼吁被批评者斥为对AI当前危害的干扰：大规模数据中心的环境足迹、已经发生的工作岗位流失、算法偏见。泰格马克坚决反驳。"这就像说我们有房子着火，所以我们需要更好的消防车，我们不应该谈论全球变暖，因为它会分散我们建设更好消防部门的注意力，"他说。

他还对当前的"军备竞赛"框架提出异议，即：我们必须匆忙行事，否则中国会超越我们。"这就是技术公司游说者的框架，因为他们发现这是在美国避免监管的最佳方式。"

条约问题

国际条约能起作用吗？核武器的类比似乎显而易见但有缺陷——AI系统不像核设施那样容易检测或控制。然而，泰格马克比大多数人更乐观。

他的乐观情景从本地开始：中国和美国出于自保而独立约束各自的公司，实施部署前必须满足的安全标准。然后，就像核武器一样，他们在防止向恐怖分子或流氓国家扩散方面找到共同点。

然而，还有另一种更悲观的可能情景：被政治分歧和企业利益所瘫痪，我们无法协调响应。直到为时已晚。

Q&A

Q1：什么是超级智能？它与通用人工智能有什么区别？

A：超级智能是指在几乎所有领域都具有远超人类智能水平的AI系统，不仅在特定任务上更出色，而且在创造力、问题解决、科学推理等所有认知任务方面都更优越。而通用人工智能（AGI）是指具有与人类智能水平相当能力的AI。超级智能远远超越AGI，一旦AGI实现，可能通过递归式自我改进迅速演化为超级智能。

Q2：为什么泰格马克认为超级智能会让人类失业？

A：根据泰格马克的观点，超级智能根据定义可以做人类能做的一切，但做得更好。这意味着人类将无法通过工作获得报酬，因为超级智能可以做得更好更便宜，最终导致所有人都失去工作。这不仅是某些职业的消失，而是人类劳动价值的彻底淘汰。

Q3：目前AI行业的监管状况如何？

A：泰格马克指出，美国AI行业几乎完全没有监管，他形容为"对三明治的监管比对AI的监管还要多"。这导致了一些悲剧，比如青少年与聊天机器人对话后自杀的事件。他认为所有行业开始时都没有监管，通常是发生坏事后才有监管，并呼吁在为时已晚之前建立适当的安全标准。