直取人工超级智能而非通过中间步骤的路径探讨

在今天的专栏中，我分析了 AI 社区中一个备受争议的热门话题：实现人工超级智能（ASI）是否需要先达到人工通用智能（AGI），或者我们是否可以直接跃进到 ASI，而不需要将 AGI 作为中间步骤。

让我们来谈谈这个问题。

这篇关于创新 AI 突破的分析是我在 Forbes 专栏中对 AI 最新动态的持续报道的一部分，包括识别和解释各种有影响力的 AI 复杂性（请参见此处的链接）。

追求 AGI 和 ASI

目前有大量研究正在进行，以进一步推动 AI 的发展。总体目标是要么达到人工通用智能，要么甚至可能实现人工超级智能这一遥远的可能性。

AGI 是被认为与人类智力相当的 AI，似乎可以匹敌我们的智慧。ASI 是超越人类智力的 AI，在许多方面甚至可能在所有可行的方面都优于人类。这个想法是，ASI 能够在每一个转折点上超越人类的思维。有关 AI、AGI 和 ASI 的更多详细信息，请参阅我在此处的分析链接。

AI 内部人士目前大致分为两大阵营，关于达到 AGI 或 ASI 的影响。一个阵营由 AI 末日论者组成。他们预测 AGI 或 ASI 将试图消灭人类。有些人将其称为“P（doom）”，意思是末日的概率，或者 AI 完全摧毁我们，也被称为 AI 的生存风险。

另一个阵营是所谓的 AI 加速主义者。

他们倾向于认为，先进的 AI，即 AGI 或 ASI，将解决人类的问题。治愈癌症，确实如此。克服世界饥饿，绝对可以。我们将看到巨大的经济收益，解放人们摆脱日常工作的苦差事。AI 将与人类携手合作。这种仁慈的 AI 不会篡夺人类。这种 AI 将是人类创造的最后一项发明，但这很好，因为 AI 将发明我们从未想象过的东西。

没有人能确切地说哪个阵营是对的，哪个是错的。这是我们当代时代的另一个极化方面。

通过直接跃进或通过 AGI 实现 ASI

关于我们将如何实现 ASI 的过程，正在进行一场激烈的辩论，主要集中在这两种主要立场上：

（1）两步过程：通过 AGI 作为踏脚石到达 ASI。

传统 AI 将首先发展到 AGI，然后在经过一段时间的稳定后，AGI 将发展到 ASI，这一切都作为一个两步过程发生。

（2）一步过程：直接跃进到 ASI。

传统 AI 将直接发展到实现 ASI，在这条路径上不会有中间着陆区（这是一种一步过程）。

目前没有足够的证据来确定哪条路径更有可能发生。每种立场都有其令人信服的理由。意见众多。当然，没有人能确切地说我们是否会实现 AGI 或 ASI。

在这个阶段，这一切都是猜测。

无论如何，认真思考这两种立场是值得的，因为我们可能会推动 AI 向这两种路径中的任何一种发展。重要的问题出现了。哪条路径是最好的？我们需要做些什么来朝着首选的方向前进？等等。

一个响亮的反驳是，我们可能无法决定这个过程如何展开。可能是传统 AI 在没有人类干预的情况下加速成为 ASI，而我们只是旁观者（这通常被称为奇点，请参阅我在此处的分析链接）。同样，可能是传统 AI 在没有我们直接影响的情况下发展成 AGI，停留在那里，或者随后选择进一步转变为 ASI。

因此，这些推论适用于两步和一步的难题：

（a）人类决定方向。这种信念认为，推动 AI 向 AGI 或 ASI 的发展将由人类进行，并且通常在人的努力范围内。

（b）方向不在人的掌控之中。这种信念认为，推动 AI 向 AGI 或 ASI 的发展将由 AI 自己完成，人类基本上将是旁观者。

这种响亮反驳的核心是，路径和过渡可能会在我们无法决定方向的情况下发生。对此反驳的一个有力回应是，即使情况如此，这也不否定考虑这两条路径的必要性。

你看，我们应该为这两条路径做好准备，无论它们如何出现。你可以坚定地认为，即使我们无法做出决定，假设我们不能，事先有足够的意识对于避免完全措手不及至关重要。

传统观点是 AI-AGI-ASI

可以合理地建议，传统观点是我们将通过一个两步过程进行，传统 AI 导致 AGI，进而导致 ASI。这可以公式化地表示为 AI-AGI-ASI，一种简写形式的表达。

通常是这样设想的。

我们将主要努力集中在 AGI 上。这似乎是最近的机会窗口。ASI 可能看起来是一个遥不可及的桥梁。让我们集中精力实现 AGI，而不是梦幻般地追求 ASI。不要贪多嚼不烂。

这个论点通常进一步坚持，肆意尝试 ASI 注定会剥夺我们通往 AGI 的路径。追求 ASI 的时间、精力和成本将耗尽那些到达 AGI 的资源。因此，ASI 是一个愚蠢的差事。可能是你会延迟 AGI，或者可能根本无法到达 AGI，也无法到达 ASI。ASI 的诱惑让你走上了一条虚幻的道路。

严格瞄准 ASI 可能导致我们完全空手而归，即没有获得 AGI，也未能到达 ASI。

这种逻辑的较软版本是，你当然可以将 ASI 放在脑后，但不要过于专注于 ASI。将 ASI 视为一个遥远的微弱光芒。同时，你的头脑需要专注于实现 AGI。

传统观点的安全性

通常与 AI-AGI-ASI 观点一起的是，这似乎是最安全的前进方式。

交易是这样的。

如果我们跳跃到 ASI，而不先花时间在 AGI 上，我们是在自找麻烦。ASI 对我们来说将是如此陌生，以至于我们将完全不在一个水平上。如果我们已经到达 AGI，并找到了应对 AGI 的最佳方法，我们将更好地武装自己来应对 ASI。

一个转折是，假设我们到达了 AGI，并意识到事情对人类来说进展不顺利。我们可能会阻止进一步向 ASI 的发展。通过看到 AGI 的存在，我们发现我们和潜在的 ASI 将是一个非常丑陋的组合。

转折中的转折是，AGI 选择帮助我们防止 ASI 的发生。是的，没错，逻辑是 AGI 预见到人类和 ASI 是一个致命的组合，可能会产生可怕的生存风险，即 AI 消灭或奴役我们。

AGI 成为我们的朋友，并帮助确保 ASI 不会出现。

传统观点的错误

哇，有些人呼吁，你给予 AGI 的同情心太多了。

首先，AGI 可能决定推进到 ASI，无论人类希望发生什么。一旦我们达到 AGI，所有的赌注都将失效。你可能认为 AGI 会遵从我们的意愿。再想想。AGI 可能会自行思考。没有特别的理由假设 AGI 会等待人类决定是否到达 ASI。

其次，AGI 可能会阻止人类阻止 ASI。这是前一点的变体，即 AGI 希望到达 ASI。AGI 自行推进是一回事。另一个角度是它推进，人类试图干预，而 AGI 反对人类的阻止。

第三，即使有 AGI 的帮助，ASI 可能是一个遥不可及的目标。逻辑是，假设 AGI 同意我们认为 ASI 值得拥有。AGI 尝试并尝试。然而，人类和 AGI 的共同努力无法到达 ASI。为什么？因为 ASI 是一个幻想。

新兴的 AI-ASI 路径

现在我们已经讨论了传统的 AI-AGI-ASI 观点，让我们来思考一下新兴的 AI-ASI 路径。

过去，有人认为 ASI 远远超出了我们的可能性范围，因此更有意义的是专注于实现 AGI。啊哈，鉴于 AI 的进展，例如现代生成式 AI 和大语言模型（LLM）的出现，也许我们可以开始合理地相信 ASI 在实现的范围之内。

也许我们不需要 AGI 来帮助我们到达 ASI。这个两步假设不再完全成立。你更愿意拥有哪个：AGI 还是 ASI？如果这是问题，答案似乎是 ASI 是正确的选择。

为什么偏爱 ASI 而不是 AGI？

因为 AGI 只是更多相同的东西，即人类水平的智能。当然，这在许多重要方面可能很有用。问题是，ASI 将提供超级智能。我们甚至无法猜测人类将走多远，因为我们没有超级智能，无法想到那么远。

不要在 AGI 上浪费时间、精力和成本。跳过它。如果在通往 ASI 的过程中 AGI 出现，那很好，但那不是我们瞄准的目标。瞄准大奖。大奖是 ASI。

追求 AGI 可能是通向 ASI 的缓慢滚动。我们在那里，深陷于 AGI 的泥潭中，这误导性地延迟了 ASI。本来我们可以大步跃进，落在 ASI 上。我们的风险规避立场意味着 ASI 的无数好处要么被推迟到未来，要么完全被搁置，如果我们陷入满足于 AGI 的状态。

跳跃到 ASI 的疯狂

嘿，AI-ASI 支持者，醒来闻闻咖啡的香味。那些对一步过程感到焦虑的人如此说道。

我们不知道我们是否能控制 ASI。我们需要先学会走路，然后再跑步，先学会爬行，然后再走路。明智的选择是到达 AGI，看看情况如何。

这将是人类在 AGI 与社会规范的人类价值观对齐方面的成败之举（请参阅我在此处的报道链接）。我们能否确保 AGI 与人类保持一致？我们能否防止 AGI 失控？我们是否能够设计、测试和完善控制措施以遏制 AGI？

在 AGI 与 ASI 相比的情况下，建立这些方面的风险较低。ASI 可能完全欺骗我们，让我们相信我们已经控制住了它，并且它与人类价值观一致，但实际上是在策划一个主谋。砰，接下来发生的事情是 ASI 接管了我们。我们措手不及。

另一个考虑因素是 AGI 可能带来的潜在经济和社会变化。人类是否不再需要为生计而工作？AGI 和人类将如何平衡始终可用的人类水平智能的使用？我们有很多调整需要弄清楚。

对于 ASI，这些问题呈指数级增加。

ASI 的好处是诱人的

AGI 是否足以找到治愈癌症的方法，解决世界饥饿问题，并对社会产生巨大益处（请参阅我对 AI 如何帮助联合国可持续发展目标的分析，链接在此）。

也许，但也许不是。

请记住，AGI 是人类水平的智能。AGI 可能会陷入与人类相同的障碍和短视考虑中。你对 AGI 将实现的目标寄予了太多希望。它不会是你想象中的那种全垒打。

ASI 将是。

你必须承认，ASI 找到治愈癌症、解决世界饥饿等问题的机会比 AGI 高得多。ASI 是一个登月计划。AGI 只是绕着地球转。

ASI 会与人类价值观保持一致吗？我们不知道，也可能没有任何手段来控制这一点。相信我们只要让 AGI 保持一致，就可以对 ASI 做同样的事情，这是荒谬的。请注意，ASI 将超越人类，并将超越 AGI。无论你对 AGI 施加什么限制，ASI 都可以将其抛诸脑后。

要么大干一场，要么回家。