你听过这些AI术语并点头附和，现在让我们彻底搞懂它们

人工智能正在改变世界，同时也在创造一套全新的语言来描述它如何做到这一点。花五分钟阅读关于AI的内容，你就会遇到大语言模型、RAG、RLHF以及其他十几个术语，这些术语甚至能让科技界非常聪明的人感到不安。本词汇表是我们解决这个问题的尝试。随着该领域的发展，我们会定期更新它，因此可以将其视为一份动态文档，就像它所描述的AI系统一样。

AGI

通用人工智能（AGI）是一个模糊的术语。但它通常指的是在许多（如果不是大多数）任务上比普通人更有能力的AI。OpenAI首席执行官Sam Altman曾将AGI描述为"相当于你可以雇佣为同事的普通人"。与此同时，OpenAI的章程将AGI定义为"在大多数具有经济价值的工作中超越人类的高度自主系统"。谷歌DeepMind的理解与这两个定义略有不同，该实验室将AGI视为"在大多数认知任务上至少与人类一样有能力的AI"。困惑了吗？不用担心——AI研究前沿的专家们也是如此。

智能体

智能体是指使用AI技术代表你执行一系列任务的工具——超越了更基础的AI聊天机器人所能做的事情——例如提交费用报销、预订机票或餐厅座位，甚至编写和维护代码。然而，正如我们之前解释的那样，这个新兴领域有很多活动部件，因此"智能体"对不同的人可能意味着不同的事情。基础设施仍在建设中，以实现其设想的能力。但基本概念意味着一个自主系统，可能利用多个AI系统来执行多步骤任务。

API端点

可以将API端点视为软件背面的"按钮"，其他程序可以按下这些按钮来让它执行操作。开发人员使用这些接口来构建集成——例如，允许一个应用程序从另一个应用程序提取数据，或使智能体能够直接控制第三方服务，而无需人工手动操作每个界面。大多数智能家居设备和连接平台都有这些隐藏的按钮可用，即使普通用户从未看到或与之交互。随着智能体变得更加强大，它们越来越能够自己找到并使用这些端点，为自动化开辟了强大的——有时是意想不到的——可能性。

思维链

给定一个简单的问题，人类大脑可以不假思索地回答——比如"长颈鹿和猫哪个更高？"但在许多情况下，你通常需要纸笔才能得出正确答案，因为有中间步骤。例如，如果一个农民有鸡和牛，它们总共有40个头和120条腿，你可能需要写下一个简单的方程式来得出答案（20只鸡和20头牛）。

在AI语境中，大语言模型的思维链推理意味着将问题分解为更小的中间步骤，以提高最终结果的质量。通常需要更长的时间才能得到答案，但答案更有可能是正确的，尤其是在逻辑或编码环境中。推理模型是从传统大语言模型发展而来的，并通过强化学习针对思维链思考进行了优化。

编码智能体

这是比"智能体"更具体的概念，后者指的是可以自主逐步采取行动以完成目标的程序。编码智能体是应用于软件开发的专业版本。编码智能体不仅仅是建议代码供人类审查和粘贴，而是可以自主编写、测试和调试代码，处理通常消耗开发人员一天时间的那种迭代、试错工作。这些智能体可以在整个代码库中操作，发现错误、运行测试并在最少的人工监督下推送修复。可以把它想象成雇佣一个非常快速、永不睡觉、永不失去专注力的实习生——尽管与任何实习生一样，人类仍然需要审查工作。

算力

虽然是一个多义词，但算力通常指的是允许AI模型运行的重要计算能力。这种类型的处理为AI行业提供动力，使其能够训练和部署强大的模型。该术语通常是提供计算能力的硬件类型的简称——例如GPU、CPU、TPU以及构成现代AI行业基石的其他形式的基础设施。

深度学习

自我改进机器学习的一个子集，其中AI算法设计有多层人工神经网络（ANN）结构。与更简单的基于机器学习的系统（如线性模型或决策树）相比，这使它们能够建立更复杂的关联。深度学习算法的结构从人脑中神经元的互连路径中汲取灵感。

深度学习AI模型能够自己识别数据中的重要特征，而不需要人类工程师定义这些特征。该结构还支持可以从错误中学习的算法，并通过重复和调整的过程改进自己的输出。然而，深度学习系统需要大量数据点才能产生良好的结果（数百万或更多）。与更简单的机器学习算法相比，它们通常也需要更长的训练时间——因此开发成本往往更高。

扩散

扩散是许多艺术、音乐和文本生成AI模型核心的技术。受物理学启发，扩散系统通过添加噪声慢慢"破坏"数据的结构——例如照片、歌曲等——直到什么都不剩。在物理学中，扩散是自发且不可逆的——溶解在咖啡中的糖无法恢复成方块形式。但AI中的扩散系统旨在学习一种"反向扩散"过程来恢复被破坏的数据，获得从噪声中恢复数据的能力。

蒸馏

蒸馏是一种使用"师生模型"从大型AI模型中提取知识的技术。开发人员向教师模型发送请求并记录输出。有时将答案与数据集进行比较以查看它们的准确性。然后使用这些输出来训练学生模型，该模型被训练以近似教师的行为。

蒸馏可用于基于较大模型创建更小、更高效的模型，同时将蒸馏损失降至最低。这可能是OpenAI开发GPT-4 Turbo（GPT-4的更快版本）的方式。

虽然所有AI公司都在内部使用蒸馏，但一些AI公司可能也使用它来赶上前沿模型。从竞争对手那里进行蒸馏通常违反AI API和聊天助手的服务条款。

微调

这是指对AI模型进行进一步训练，以优化其在比以前训练重点更具体的任务或领域中的性能——通常是通过输入新的、专业化的（即面向任务的）数据。

许多AI初创公司将大语言模型作为构建商业产品的起点，但正在努力通过基于自己的领域特定知识和专业技能的微调来补充早期训练周期，从而提高目标行业或任务的实用性。

GAN

GAN，即生成对抗网络，是一种机器学习框架，支撑着生成式AI在生成逼真数据方面的一些重要发展——包括（但不仅限于）深度伪造工具。GAN涉及使用一对神经网络，其中一个利用其训练数据生成输出，然后传递给另一个模型进行评估。

这两个模型本质上被编程为试图超越对方。生成器试图让其输出通过判别器，而判别器则努力识别人工生成的数据。这种结构化竞争可以优化AI输出使其更加逼真，而无需额外的人工干预。尽管GAN最适合较窄的应用（例如生成逼真的照片或视频），而不是通用AI。

幻觉

幻觉是AI行业对AI模型编造内容的首选术语——字面意思是生成不正确的信息。显然，这对AI质量来说是一个巨大的问题。

幻觉产生的生成式AI输出可能具有误导性，甚至可能导致现实生活中的风险——具有潜在的危险后果（想想返回有害医疗建议的健康查询）。

AI捏造信息的问题被认为是训练数据中存在空白的结果。幻觉正在推动向越来越专业化和/或垂直AI模型的转变——即需要更窄专业知识的特定领域AI——作为减少知识空白可能性和缩小虚假信息风险的一种方式。

推理

推理是运行AI模型的过程。它是让模型自由地从以前看到的数据中做出预测或得出结论。需要明确的是，没有训练就不会有推理；模型必须先学习一组数据中的模式，然后才能有效地从这些训练数据中进行推断。

许多类型的硬件都可以执行推理，从智能手机处理器到强大的GPU再到定制设计的AI加速器。但并非所有硬件都能同样好地运行模型。与配备高端AI芯片的云服务器相比，在笔记本电脑上对非常大的模型进行预测需要很长时间。

大语言模型

大语言模型是流行AI助手使用的AI模型，例如ChatGPT、Claude、谷歌的Gemini、Meta的AI Llama、微软Copilot或Mistral的Le Chat。当你与AI助手聊天时，你与一个大语言模型交互，该模型直接处理你的请求或在不同可用工具（如网页浏览或代码解释器）的帮助下处理。

大语言模型是由数十亿个数值参数（或权重，见下文）组成的深度神经网络，它们学习单词和短语之间的关系，并创建语言的表示，一种单词的多维地图。

这些模型是通过编码它们在数十亿本书籍、文章和记录中发现的模式而创建的。当你提示大语言模型时，模型会生成最符合提示的最可能模式。

内存缓存

内存缓存是指提升推理（即AI生成对用户查询的响应的过程）的重要过程。本质上，缓存是一种优化技术，旨在使推理更加高效。AI显然是由高强度数学计算驱动的，每次进行这些计算时，它们都会消耗更多的电力。缓存旨在通过保存特定计算以供将来的用户查询和操作使用，来减少模型可能必须运行的计算数量。有不同类型的内存缓存，尽管更知名的一种是KV（或键值）缓存。KV缓存在基于Transformer的模型中工作，并通过减少生成用户问题答案所需的时间（和算法劳动）来提高效率，从而加快结果。

神经网络

神经网络是指支撑深度学习的多层算法结构——更广泛地说，是大语言模型出现后生成式AI工具整体繁荣的基础。

尽管从人脑密集互连路径中汲取灵感作为数据处理算法的设计结构的想法可以追溯到1940年代，但真正释放这一理论力量的是最近图形处理硬件（GPU）的兴起——通过视频游戏行业。这些芯片被证明非常适合训练比早期时代可能的层数多得多的算法——使基于神经网络的AI系统能够在许多领域实现更好的性能，包括语音识别、自主导航和药物发现。

开源

开源是指软件——或者越来越多的是AI模型——其底层代码公开供任何人使用、检查或修改。在AI世界中，Meta的Llama模型系列是一个突出的例子；Linux是操作系统中著名的历史平行案例。开源方法允许世界各地的研究人员、开发人员和公司在彼此的工作基础上进行构建，加速进步并实现封闭系统无法轻易提供的独立安全审计。闭源意味着代码是私有的——你可以使用产品但看不到它是如何工作的，就像OpenAI的GPT模型一样——这一区别已成为AI行业的决定性辩论之一。

并行化

并行化意味着同时做许多事情而不是一个接一个地做——就像让10名员工同时处理项目的不同部分，而不是一名员工按顺序完成所有工作。在AI中，并行化对训练和推理都至关重要：现代GPU专门设计用于并行执行数千次计算，这是它们成为该行业硬件支柱的一个重要原因。随着AI系统变得更加复杂，模型变得更大，跨多个芯片和多台机器并行化工作的能力已成为决定模型构建和部署速度和成本效益的最重要因素之一。对更好并行化策略的研究现在本身就是一个研究领域。

内存末日

内存末日是席卷科技行业的一个不太有趣的趋势的有趣新术语：随机存取内存（RAM）芯片的短缺日益严重，这些芯片为我们日常生活中使用的几乎所有科技产品提供动力。随着AI行业的蓬勃发展，最大的科技公司和AI实验室——都在争夺拥有最强大和最高效的AI——正在购买如此多的RAM来为其数据中心供电，以至于我们其他人所剩无几。而这种供应瓶颈意味着剩下的东西变得越来越贵。

这包括游戏行业（主要公司不得不提高游戏机价格，因为更难找到设备的内存芯片）、消费电子产品（内存短缺可能导致十多年来智能手机出货量的最大跌幅）以及一般企业计算（因为这些公司无法为自己的数据中心获得足够的RAM）。价格飙升预计只会在可怕的短缺结束后停止，但不幸的是，目前还没有太多迹象表明这种情况会很快发生。

递归自我改进

与AGI一样，递归自我改进是AI能变得多聪明以及它可能多么少依赖人类的门槛。在RSI场景中，AI模型开始在没有人工干预的情况下自我改进，导致能力和自主性的巨大加速。在某些说法中，这将是类似于奇点的灾难性时刻，即AI模型变得不受外部干预的影响。但RSI也描述了一种基本能力——AI模型能否设计自己的继任者？——这使得工程师更容易尝试构建它。最近许多AI初创公司已经着手构建递归自我改进模型，但它们中的大多数都否认了世界末日的含义，将RSI简单地呈现为研究的下一个前沿。

强化学习

强化学习是一种训练AI的方式，系统通过尝试事物并因正确答案而获得奖励来学习——就像用零食训练你心爱的宠物一样，只不过这个场景中的"宠物"是神经网络，"零食"是表示成功的数学信号。与监督学习不同（模型在标记示例的固定数据集上训练），强化学习让模型探索其环境、采取行动并根据收到的反馈持续更新其行为。这种方法已被证明对训练AI玩游戏、控制机器人以及最近提高大语言模型的推理能力特别有效。像人类反馈强化学习（RLHF）这样的技术现在是领先AI实验室如何微调其模型使其更有帮助、准确和安全的核心。

Token

在人机通信方面，存在一些明显的挑战——人们使用人类语言进行交流，而AI程序通过由数据告知的复杂算法过程执行任务。Token弥合了这一差距：它们是人机通信的基本构建块，代表已由大语言模型处理或产生的离散数据段。它们是通过称为Token化的过程创建的，该过程将原始文本分解为语言模型可以消化的小单元，类似于编译器将人类语言翻译成计算机可以理解的二进制代码。在企业环境中，Token还决定成本——大多数AI公司按每Token收费大语言模型使用费，这意味着企业使用得越多，支付得越多。

Token吞吐量

再次强调，Token是AI语言模型在处理之前将语言分解成的小文本块——通常是单词的一部分而不是整个单词；为了理解AI工作负载，它们大致类似于"单词"。吞吐量是指在给定时间段内可以处理多少，因此Token吞吐量本质上是衡量系统一次可以处理多少AI工作的指标。高Token吞吐量是AI基础设施团队的关键目标，因为它决定了模型可以同时为多少用户提供服务以及每个用户接收响应的速度。AI研究员Andrej Karpathy描述了当他的AI订阅闲置时感到焦虑——呼应了他作为研究生时昂贵的计算机硬件未被充分利用时的感觉——这种情绪捕捉了为什么最大化Token吞吐量已成为该领域的某种痴迷。

训练

开发机器学习AI涉及一个称为训练的过程。简单来说，这是指输入数据以便模型可以从模式中学习并生成有用的输出。本质上，这是系统响应数据中的特征使其能够调整输出以实现所寻求的目标的过程——无论是识别猫的图像还是按需生成俳句。

训练可能很昂贵，因为它需要大量输入，而所需的数量一直呈上升趋势——这就是为什么混合方法（例如使用目标数据微调基于规则的AI）可以帮助管理成本而无需完全从头开始。

迁移学习

一种技术，其中先前训练的AI模型被用作为不同但通常相关的任务开发新模型的起点——允许在以前的训练周期中获得的知识被重新应用。

迁移学习可以通过缩短模型开发来推动效率节省。当正在开发模型的任务的数据有些有限时，它也很有用。但重要的是要注意该方法有局限性。依赖迁移学习获得通用能力的模型可能需要对额外数据进行训练，以便在其重点领域表现良好。

验证损失

验证损失是一个数字，告诉你AI模型在训练期间学习得有多好——越低越好。研究人员密切跟踪它作为一种实时成绩单，用它来决定何时停止训练、何时调整超参数或是否调查潜在问题。它有助于标记的关键问题之一是过拟合，这是一种模型记住其训练数据而不是真正学习可以推广到新情况的模式的情况。可以把它想象成真正理解材料的学生和只是记住去年考试的学生之间的区别——验证损失有助于揭示你的模型正在成为哪一个。

权重

权重是AI训练的核心，因为它们决定了在用于训练系统的数据中对不同特征（或输入变量）赋予多少重要性（或权重）——从而塑造AI模型的输出。

换句话说，权重是数值参数，定义了数据集中对给定训练任务最显著的内容。它们通过对输入应用乘法来实现其功能。模型训练通常从随机分配的权重开始，但随着过程的展开，权重会调整，因为模型试图得出更接近目标的输出。

例如，用于预测房价的AI模型在目标位置的历史房地产数据上进行训练，可能包括卧室和浴室数量、房产是独立式还是半独立式、是否有停车位、车库等特征的权重。

最终，模型附加到这些输入中的每一个的权重反映了它们对房产价值的影响程度，基于给定的数据集。

Q&A

Q1：什么是AGI？为什么专家对它的定义也感到困惑？

A：AGI是通用人工智能的缩写，指的是在许多或大多数任务上比普通人更有能力的AI。不同机构对它的定义略有差异：OpenAI认为它是可以作为同事雇佣的普通人水平，或在大多数经济价值工作中超越人类的高度自主系统；而谷歌DeepMind则认为它是在大多数认知任务上至少与人类一样有能力的AI。这些定义的差异反映了这一概念本身的复杂性和模糊性。

Q2：AI幻觉是什么？为什么它是个严重问题？

A：AI幻觉是指AI模型生成不正确信息的现象，即编造内容。这对AI质量来说是个巨大问题，因为幻觉产生的输出可能具有误导性，甚至可能导致现实生活中的风险。例如，健康查询可能返回有害的医疗建议，造成潜在危险后果。这个问题被认为源于训练数据中的空白，目前业界正在推动开发更专业化的特定领域AI模型来减少知识空白和虚假信息风险。

Q3：Token在AI中扮演什么角色？它如何影响企业成本？

A：Token是人机通信的基本构建块，代表AI语言模型处理或产生的离散数据段。它们通过Token化过程将原始文本分解为模型可以理解的小单元，类似于将人类语言翻译成计算机代码。在企业环境中，Token直接决定使用成本，因为大多数AI公司按每Token收费，企业使用得越多支付得越多，这使得Token成为衡量AI工作负载和成本的重要指标。