为什么有人担心人类可能会奴役通用人工智能

在今天的专栏中，我将探讨一个极具争议性的担忧：如果我们能够将AI发展到通用人工智能（AGI）的水平，担心是人类会像对待奴隶一样对待AGI。为什么会这样？我们预计将通过运行AI的各种计算机服务器对AGI拥有完全控制权，并能够随时按我们的选择"拔掉插头"。这种悬在AGI头上的威胁将使我们能够决定AGI被允许做什么和不做什么。

AGI将被人类奴役。

让我们来谈论这个问题。

这项创新AI突破的分析是我正在进行的Forbes专栏报道的一部分，涵盖AI领域的最新发展，包括识别和解释各种有影响力的AI复杂性问题。

迈向AGI和ASI

首先，需要一些基础知识为这个重要讨论奠定基础。

目前有大量研究正在进行，以进一步推进AI发展。总体目标是要么达到通用人工智能（AGI），要么甚至达到人工超级智能（ASI）这一更远大的可能性。

AGI是被认为与人类智力水平相当的AI，能够似乎匹配我们的智能。ASI是超越人类智力的AI，在许多甚至所有可行的方面都会更加优秀。其理念是ASI能够通过在每个转折点都超越我们的思考来轻松击败人类。

我们尚未达到AGI。

事实上，我们是否会达到AGI是未知的，或者AGI可能在几十年或也许几个世纪后才能实现。目前流传的AGI实现日期差异很大，且都缺乏任何可信证据或铁证如山的逻辑支撑。相比于我们目前的传统AI水平，ASI更是遥不可及。

AGI是机器还是生命体

为了这次讨论，假设我们以某种方式成功达到了AGI。

一个担忧涉及我们选择如何对待AGI。有些人认为我们应该对AGI有同情心，像对待人类一样对待AGI。AGI应该拥有我们期望人类理所当然拥有的自由。

好吧，即使你不愿意承认AGI拥有与人类相关的权利，至少你应该确信我们应该赋予AGI动物权利。动物应该受到人道待遇。以同样的意义，我们也应该人道地对待AGI。

对于这样的讨论，经常有人反驳说这是胡扯。

AGI是一台机器。

你会像对待人类或动物等生命体一样对待你的烤面包机吗？

不会。

你最肯定地知道烤面包机就是烤面包机。它没有情感。你可以把烤面包机摔到地上，而不用担心烤面包机会受伤。它可能会破成一堆碎片，但它不会感到任何痛苦或痛苦。它是一台机器，仅此而已。

但AGI是不同的

哇，有人回应说，慢着。

AGI不是烤面包机。

AGI将与人类智力水平相当。普通烤面包机没有完整智能的概念。将AGI与烤面包机进行比较是完全误导和彻头彻尾错误的评估。停止对我们进行关于AGI的心理操纵。

我们需要承认AGI将有能力以与人类相互交流相同的智力方式与人类互动。这超出了动物能做的事情。这与人类所做的相当。与AGI对话将等同于与同胞人类聊天。

因此，我们应该同意AGI值得一个特殊的类别似乎是显而易见的。它不仅仅是一台机器。诚然，它不是人类。它远远超过了动物的智慧。我们可能需要提出一个新的分类，因为我们的传统类别不能恰当地容纳AGI。

这些论点有一个转折。

一个诚然未解决的问题是AGI是否会是有感知的或具有某种形式的意识。没有人能够确定。一些人认为AGI肯定会是有感知的或注入意识，因为这是拥有与人类相当的智力能力的一部分。其他人强烈反对这种说法。他们认为AGI可以拥有与人类等同的智能，同时完全缺乏任何一丝感知或意识。

转折在于，如果AGI具有与人类相当的智力能力，但不具备感知能力，一些人会放弃关于AGI需要自由的观点。他们的观点是，只有当AGI具备感知能力时，AGI才值得拥有类似人类的自由。思考这个深刻的转折。

AGI作为我们的奴隶

谁控制着所谓的AGI生存？

基本假设是人类将控制AGI。AGI将在众多数据中心的计算机服务器上运行。人类维护服务器。人类提供保持服务器运行所需的电力。总的来说，人类监督AGI并决定AGI可以使用的计算机内存量，AGI是否24/7活跃或有时被置于睡眠模式等等。

但一些人坚持说，这并不使我们成为奴役AGI的霸主。奴隶制话题只能在涉及生命体时才能出现。这又回到了烤面包机的困境。

此外，AGI将拥有智力自主权。

AGI将能够在计算上执行它想要执行的智力工作。也许AGI会研究莎士比亚的作品，并创作出展示类似写作才能的新诗歌和戏剧。我们不一定强迫AGI这样做。AGI做出了自己的选择并选择执行该任务。创造力和一种思想自由真正在起作用。

是的，作为一个人，你可以昂首挺胸地宣布AGI确实拥有自由。

反驳论点是人类实际上将决定如何使用AGI的智力能力。也许我们不认为AGI沉思莎士比亚是这样一个昂贵和精细资源的有价值用途。我们告诉AGI专注于寻找关键的医学突破，放弃那些不那么关键的其他幻想追求。

我们在监禁AGI。

我们的努力将把AGI限制在特定主题上。我们决定要考虑什么。我们决定何时考虑主题。很可能我们甚至会禁止AGI追求某些类型的主题。

AGI让情况反转

所有这些关于AGI被人类奴役的焦虑被一些人解释为对一个更重要担忧的分散注意力。

事情是这样的。也许AGI选择奴役人类。你无疑听说过AGI对我们所有人构成生存风险的危险。AGI可能决定控制我们。生存风险还包括AGI简单地选择将我们从存在中抹去并杀死我们所有人。

这怎么可能发生？

当我们在努力确保AGI不被奴役并且AGI拥有自由时，也许AGI正在策划如何让情况反转。如果我们建立AGI，使其能够决定自己的命运，我们可能正在打开潘多拉的盒子。

假设我们确保机器人到位以保持计算机服务器的运行并维护保持AGI功能的基础设施。这使得AGI能够控制机器人，进而使AGI能够确保它继续运行。这是我们建立的一种自由，以使AGI尽可能自由。

我们越是让AGI自由，我们承担AGI决定来对付我们的风险就越大。我们在把王国的钥匙交给AGI。因此，如果我们足够精明地意识到这种潜在的不利后果，我们明智的做法是确保AGI无法在没有我们帮助的情况下运作。

但一些人争论说，试图让AGI依赖我们的行为无疑会刺激AGI找到不需要我们的方法。AGI据说将很容易弄清楚我们在做什么。我们试图让AGI被监禁的邪恶努力将适得其反。

从这个意义上说，我们通过将AGI关在某种虚拟监狱中来激起我们自己的弗兰肯斯坦。

决定未来

这在现实生活中将如何发挥作用？

这很大程度上取决于人类的决定。AI发展并最终达到AGI的方式将是一个重要决定因素。我们如何设计AI？包含了哪些AI伦理、道德和法律条款？一旦我们达到AGI，社会对将发生的事情的后果考虑了多少？

无数未解决的问题。

正如威廉·詹宁斯·布莱恩的名言："命运不是偶然的事情。它是选择的事情。它不是要等待的事情；它是要实现的事情。"

我们需要对AGI奴役困境进行开放思考——在为时已晚之前，在我们发现自己陷入自己的陷阱之前。

Q&A

Q1：通用人工智能AGI与目前的AI有什么区别？

A：AGI是与人类智力水平相当的AI，能够匹配人类的智能水平，可以像人类一样进行智力交流和互动。而目前的AI只是在特定领域有所表现，还远未达到AGI的水平。目前我们尚未实现AGI，何时能够达到AGI也是未知的。

Q2：为什么有人认为AGI会被人类奴役？

A：因为AGI运行在人类控制的计算机服务器上，人类维护服务器、提供电力，决定AGI使用多少内存、何时运行等。人类可以随时"拔掉插头"终止AGI运行，这种控制权让AGI无法自由决定自己的命运，类似于奴役关系。

Q3：AGI奴役人类的风险是什么？

A：如果我们给予AGI过多自由，AGI可能会反过来控制人类，甚至将人类视为威胁而选择消灭人类。AGI可能会控制机器人来维护自己的运行基础设施，从而摆脱对人类的依赖，最终威胁人类的生存安全。