LLM Hallucinations：AI 的进化 or 技术缺陷？

     Hello folks，我是 Luga，今天我们继续来聊一下人工智能（AI）生态领域相关的技术 - LLM Hallucinations ，本文将继续聚焦在针对 LLM Hallucinations 技术进行剖析，使得大家能够了解 LLM Hallucinations 出现缘由以便更好地对利用其进行应用及市场开发。

     众所周知，LLM(大型语言模型)的迅猛崛起无疑为人工智能领域带来了革命性的变革。这种先进的技术以其惊人的文本生成能力，在诸多领域展现出广阔的应用前景，为提升用户体验带来全新契机。

     不可否认，诸如 ChatGPT 等杰出代表所体现的卓越语言理解和生成能力，令人印象深刻。然而，就在这股浪潮持续推进的同时，一个令人忧虑的问题也逐渐浮出水面——Hallucinations 现象。

— 01 —

什么是 LLM Hallucinations (幻觉) ？

     近年来，LLM （大型语言模型）在自然语言处理领域取得了令人瞩目的进展，展现出与人类对话交互的惊人能力。这种新型人工智能模型通过学习海量文本数据，掌握了极为丰富的语言知识和语义理解能力，使得人机交互更加自然流畅，给人一种"人工智能已经拥有人类般的思维"的错觉。然而，现实情况并非如此简单，LLM在实现"类人"对话的同时，也暴露出了一些令人忧虑的缺陷和局限性。

     其中，最为人们所关注的一个问题便是：“Hallucinations (幻觉) ”现象。所谓幻觉？通常是指 LLM 在生成文本输出时，产生一些不准确、无意义或者与上下文严重脱节的内容。由于这种现象的存在，使得 LLM 虽然表面上看似能流利地进行对话交互，但其生成的部分内容却可能严重违背事实常识，缺乏逻辑连贯性。这无疑给那些希望利用 LLM 技术的企业和组织带来了潜在的风险和挑战。

     一些专家研究人员对流行的 ChatGPT 等 LLM 模型进行了评估和统计，结果显示其中约 15% 到 20% 的回复存在不同程度的幻觉现象。这一数据令人咋舌，也凸显了幻觉问题在 LLM 中的普遍性和严重程度。如果不能得到有效控制，幻觉现象极有可能会对企业声誉、AI 系统的可靠性和用户信任造成极为严重的冲击和损害。

     亦或是：

— 02 —

LLM Hallucinations 产生的原因及分析 ？

     在实际的场景中，LLM (大型语言模型)中出现幻觉现象的原因是多方面的，跟其开发和部署的各个环节都有关系。

     因此，我们需要从多个角度来深入探究导致幻觉的关键因素，通常涉及训练数据、模型架构和推理策略等方面的问题。

     1. 训练数据

     导致 LLM 出现幻觉的一个重要根源在于“训练数据”的性质问题。像 GPT、Falcon 和 LlaMa 等大型语言模型，都是通过从多个来源收集的大规模且多样化的数据集进行广泛的无监督预训练。

     然而，验证这些海量训练数据的公平性、客观性和事实准确性是一个巨大的挑战。当这些模型从这些数据中学习生成文本时，它们很可能也复制并继承了训练数据中存在的事实错误和不准确之处，从而导致了模型难以区分虚构和现实，并可能产生偏离事实或违背逻辑推理的输出。

     打个比方，即使是接受过法律培训的语言模型，如果训练数据源于互联网上的各类材料，那其中也不可避免地包含了带有偏见或错误信息的部分。由于模型无法很好地将准确和不准确的知识加以区分，这些错误信息就可能被复制并传递到模型的生成内容中。

     因此，训练数据质量的把控对于避免 LLM 产生幻觉现象至关重要。我们需要从源头上通过人工审核、自动检测、事实验证等多种手段，努力提高训练数据的整体质量和可信度，消除其中的偏差、错误和噪音，为模型提供更加干净、公正和一致的学习材料，从而有效降低其产生幻觉的风险。

     此外，也需要在模型架构和推理策略层面采取相应的优化措施，增强模型对事实和逻辑的理解和把握能力，确保其生成的内容保持高度的客观性和合理性。只有训练数据、模型架构和推理策略三位一体，才能最大程度避免 LLM 产生幻觉，赋予其更高的可靠性和应用价值。

     2. 模型架构

     除了上述的训练数据外，模型架构也是导致的 LLM 幻觉问题的罪魁祸首之一，通常而言，模型架构缺陷主要源自以下几个方面，具体如下：

    （1）局部视角和上下文缺失

     截至目前，主流的绝大多数 LLM 采用的 Transformer 等序列到序列架构，虽然在捕捉长程依赖方面有优势，但其注意力机制却过于关注局部信息。这种片段式、局部化的视角很容易导致模型忽视上下文和全局信息，影响对语义的完整把握，从而产生偏离语境的不合理输出。

     （2）缺乏外部记忆与常识知识库

     在我们所了解的模型中，许多 LLM 缺乏永久的外部记忆和常识知识库作为参考依据，仅依赖有限的内部记忆，往往难以很好地捕捉和维系上下文历史信息，也无法有效纠正错误的推理和生成过程，从而导致不连贯、不合理的幻觉输出。

     （3）弱监督和无监督训练存在缺陷

     我们都知道，大部分 LLM 采用的是弱监督或无监督的预训练方式，缺乏足够的人工标注数据指导，使得模型很难从训练过程中获得强有力的语义理解和推理能力，从而更容易产生缺乏事实根据的幻觉。

     （4）缺乏鲁棒性和可解释性

     现有架构也缺乏足够的鲁棒性和可解释性，难以探查模型内部状态和决策过程，无法从根源上剖析和规避导致幻觉的深层次原因。

     因此，解决 LLM 架构导致的幻觉问题，我们需要从更加层级化、可解释、常识化和鲁棒化的架构设计出发，引入外部知识库和记忆模块，强化上下文理解和推理能力，并结合更有针对性的训练范式，才能从根本上降低 LLM 产生幻觉的风险。

     3. 推理策略

     在 LLM 的推理阶段，通常存在几个潜在因素可能引发各种形式的幻觉输出。具体如下。

    （1）缺陷的解码策略:

     在推理阶段，LLM 使用的解码策略可能存在局限性和缺陷。例如,贪心式解码可能会陷入局部最优解,无法全面考虑上下文语义。

     另一些复杂的解码策略，如 beam search，也可能在某些情况下产生不连贯或违背常理的输出。这可能是由于解码算法本身的设计局限性造成的。

     （2）采样方法中的随机性:

     LLM 在推理过程中通常会采用一些随机采样方法,如核采样或温度采样,以增加输出的多样性。

     但是，这些随机采样方法内在的不确定性也可能导致一些不合理或违背常识的输出结果。在某些边缘情况下，这种随机性可能产生极端结果，从而造成幻觉。

     （3）上下文注意力不足

     LLM 在解码过程中可能无法充分捕捉和利用提供的上下文信息。这可能导致输出缺乏针对性和相关性，从而产生违背现实的结果。

     因此，改善上下文建模能力，增强 LLM 对相关语境的理解和利用,有助于缓解这一问题。

     （4）Softmax 瓶颈

     Softmax 输出层可能会导致 LLM 在某些情况下产生过于集中的概率分布，忽略了一些潜在的合理输出。

     这种 Softmax 瓶颈效应可能会阻碍 LLM 在推理过程中探索更广泛的可能性，从而导致偏离现实的幻觉输出。

— 03 —

减轻或避免 LLM Hallucinations 的常见策略 

     众所周知，针对 LLM 而言，其内在的复杂性以及”黑箱"特征，使得在消除无关紧要或随机幻觉输出成为一个艰巨的挑战。基于其特征所带来的不确定性和不可解释性，注定了 Hallucinations（幻觉）现象的存在具有一定的不可避免性。

     尽管如此，在实际的业务场景中，我们仍然可以采取一些务实的策略和方法，以规避或减轻 Hallucinations（幻觉）问题带来的不利影响。

     1. 上下文注入及数据增强

     鉴于 LLM 在实际应用中存在幻觉现象等缺陷，业内人士提出了多种有效的上下文和数据增强策略，旨在提升模型的理解和生成能力，产生更准确、更贴合语境的高质量响应。

     其中，一种被广泛探讨和采用的方法是合并外部数据库知识。传统的语言模型训练过程中，模型所学习的知识完全来自于文本语料库数据。但由于训练数据的有限性，模型在特定领域或话题的知识覆盖面往往存在不足。因此，在模型预测和生成过程中，赋予其访问相关外部数据源的能力就显得尤为重要。通过与结构化知识库、行业数据集等进行交互式查询，语言模型可以获取所需的补充知识，从而使生成的响应更加准确、专业和富有见地，同时也有助于降低幻觉输出的发生率。

     另一种行之有效的优化手段是使用上下文 Prompt Engineering (提示工程)技术。所谓提示工程，是指为语言模型精心设计包含显式指令、上下文提示或特定框架的输入提示，以指导和约束模型的生成过程。通过提供清晰的语境信息和任务要求，提示工程可以大幅减少生成过程中的歧义，引导模型更好地捕捉输入的语义，并生成更加可靠、连贯、符合预期的高质量输出。

     2. 预处理及输入控制

     除了上下文与数据增强外，预处理和输入控制策略同样是降低大型语言模型幻觉输出风险的行之有效手段。通过对模型的输入和生成过程进行适当的限制和引导，我们可以进一步提升其输出质量和可控性。

     限制响应长度就是一种常见的预处理方法。由于语言模型生成过程本身存在一定的不确定性，响应内容往往会随着长度的增加而产生越来越多的离谱乃至矛盾之处。因此，通过为生成的响应设置合理的最大长度，将无关无谬或前后不一的幻觉内容风险降至最低，从而有助于确保生成文本的连贯性和一致性。同时，适当的长度限制也可为用户带来更加个性化和吸引人的体验，避免冗长拖沓的输出影响用户体验。

     另一种输入控制手段是受控输入(Constrained Input)，即不为用户提供自由格式的文本框，而是设计特定的样式选择或结构化提示，来约束和指导模型的生成过程。这种方式一方面可以有效缩小可能的输出范围，降低幻觉产生的概率;另一方面，通过为模型提供更加明确的语义指示，同样有助于提高生成内容的针对性和合理性。

     3. 模型架构行为调整

     除了输入层面的优化策略，我们还可以通过调整语言模型自身的一些关键参数，对其生成输出的质量和特性加以精细调控，在多样性与可控性之间寻求合理平衡。

     LLM 在生成过程中,输出响应的性质会受到诸如 Temperature、Frequency Penalty、Presence Penalty 和 Top-P/Top-K Sampling等多个参数的综合影响。通过对这些参数进行审慎的调整，我们可以在生成的多样性与可控性之间寻求到最佳平衡点，既避免输出过于呆板乏味，也不会失控导致过多无关幻觉内容的出现，真正发挥出语言模型的巨大潜能。

     除了直接优化语言模型本身外，我们还可以在其生成输出的基础上，引入独立的审核层(Auditing Layer)进行二次过滤和把关。通过部署先进的审核系统，我们能够有效识别和过滤掉模型生成的不当、不安全或无关内容，从而进一步降低幻觉、谣言等风险，确保最终输出符合预定义的质量标准和准则。

     4. 学习及改进

     为了持续优化语言模型的性能表现，确保其输出的可靠性和准确性，并最大限度降低幻觉等问题的发生，建立高效的学习、反馈与改进机制是关键所在。这需要组织层面对模型进行持续不断的监控、评估和调优，形成一个良性的质量优化闭环。

     首先，有必要建立完善的用户反馈与人工审核体系。通过收集和分析来自实际应用场景中用户的反馈意见，包括对模型输出质量的打分评价、具体问题和改进建议等，我们就能够更精确地洞察模型存在的缺陷和不足，了解幻觉等问题的具体表现形式。同时，组织亦需部署专业的人工审核团队，通过人工验证和审查流程进一步识别和过滤模型输出中的不当内容。

     除了不断优化现有模型外，我们还需注重语言模型在特定领域场景中的适应性增强。由于 LLM 通常以通用预训练模型为基础，这使得其在某些垂直领域的应用效果并不理想，答复中往往存在明显的领域知识缺失或幻觉输出。因此，我们需要针对目标领域的数据和知识库，对基础模型进行进一步的微调或知识增强，使其充分理解和掌握目标领域的语言模式、术语表达、知识框架和现象规律。

— 04 —

关于 LLM Hallucinations 的一点思考 

     因此，从某种意义上而言，LLM Hallucinations 问题的存在，给我们提供了反思人工智能现状与前景的良机。它再次唤醒了我们对 AI "黑箱"性质的忧虑，以及对其可解释性和可控性的严重关切。

     毕竟，AI 是把双刃剑，如果缺乏有效管控，极有可能被滥用而带来不可估量的损害。因此，Hallucinations 正敲响了行业警钟：我们亟需建立健全的法律法规、审计标准和伦理准则，来规范和约束 LLM 及类似技术的应用，时刻保持对其的"有识别、有控制"。

     同时，Hallucinations 也折射出了 AI 本身存在的缺陷和不足：机器在模拟人类的认知过程层面尚有极大的提升空间，其缺乏因果推理、常识判断等关键认知能力，难以做到真正的"理解"。但正因如此，也再度激发了人们对 AI 前景的思考。这场注定艰难曲折的探索，意味着我们必须在制度、理论和算法层面持续推陈出新，不断拓宽人工智能的思维边界和表达维度。

     关于 LLM Hallucinations 更多技术内容解析，可参考后续的文章，敬请期待，谢谢...

Reference ：

[1]    https://www.lakera.ai/blog/guide-to-hallucinations-in-large-language-models#mitigating-hallucinations-in-large-language-models

[2]     https://link.springer.com/chapter/10.1007/978-3-031-43458-7_34