通过 RAGOps 和智能代理实现 RAG 的规模化应用

检索增强生成 (RAG) 已经成为帮助企业利用企业数据完善大语言模型 (LLM) 输出结果的黄金标准。与通常使用公开信息训练的 LLM 不同，RAG 使企业能够用产品、流程或政策等企业文档中的特定领域知识来增强其 LLM。根据麦肯锡的研究，RAG 在企业生成式 AI 服务中展现出的增强效果提高了员工和客户满意度，从而改善了整体性能。

然而，如何在企业范围内实现 RAG 的规模化应用仍不明确，这本可以帮助组织大幅提升其生成式 AI 用例的效果。早期为帮助快速启动新的生成式 AI 产品和服务而制定的可重复流程，已经遇到了影响性能和相关性的局限性。

幸运的是，短期和中期解决方案为确保 RAG 在 2025 年及以后实现规模化提供了可能的路径。

RAGOps 的崛起

使用 RAG 的 LLM 需要访问高质量的训练数据。然而，由于数据分散在不同部门、系统和格式中，确保数据的质量和可用性往往具有挑战性。

为了最大限度地发挥效果，使用 RAG 的 LLM 还需要连接到部门希望提取数据的来源 - 如客户服务平台、内容管理系统和人力资源系统等。这类集成需要丰富的技术专业知识，包括数据映射和 API 管理经验。

此外，当 RAG 模型大规模部署时，会消耗大量计算资源并产生大量数据。这需要适当的基础设施和部署经验，以及管理大型组织数据的能力。

RAGOps 是一种引起 AI 专家关注的主流化 RAG 方法，它是一种能够以确保一致性同时降低复杂性的方式自动化 RAG 工作流、模型和接口的方法。

RAGOps 使数据科学家和工程师能够自动化数据摄取和模型训练以及推理。它还通过提供基础设施堆栈中的负载均衡和分布式计算机制来解决可扩展性难题。在 RAG 管道的每个阶段都执行监控和分析，以帮助持续改进模型和运营。

例如，麦肯锡使用 RAGOps 帮助其 Lilli 生成式 AI 平台筛选 10 万份精选文档。Lilli 已经回答了超过 800 万个由约四分之三的麦肯锡员工提出的关于运营洞察的问题。

智能代理 RAG 的时代即将到来

作为组织寻求从生成式 AI 实施中获取更多价值的运营模式，RAGOps 有望在已经实践过其他运营框架 (如 DevOps 或 MLOps) 的组织中得到良好应用。

然而，一些组织可能会采取更新颖的方法，即顺应生成式 AI 行业的发展方向：将 RAG 与智能代理 AI 结合，使 LLM 能够适应不断变化的环境和业务需求。

设计用于以最少人工干预执行数字任务的代理正引起寻求将更多数字操作委托给软件的企业的兴趣。根据德勤研究，到 2025 年将有 25% 的组织实施企业代理，到 2027 年将增长到 50%。

具有 RAG 的智能代理 AI 将包括多种方法和解决方案，但许多场景可能会共享一些共同特征。

例如，单个代理将评估和总结来自单个文档的问题答案，甚至比较多个文档之间的答案。元代理将协调这个过程，管理单个代理并整合输出以提供连贯的响应。

最终，代理将在 RAG 框架内工作，进行多步分析、规划和推理，在执行任务时学习并根据新输入调整其策略。这将帮助 LLM 随着时间的推移更好地响应更细微的提示。

至少在理论上是这样。

总结

生成式 AI 技术的未来一片光明，它将从研究实验室流向企业 AI 工厂，成为蓬勃发展的企业 AI 领域的一部分。

例如，模型的占用空间将缩小，同时变得更加优化，能够在本地和边缘的 AI PC 等设备上高效运行。RAG 标准化，包括软件库和现成工具，将继续增长。

无论您的组织是采用 RAGOps 还是采用智能代理 AI，都正在出现解决方案来帮助组织扩展 RAG 实施。

例如，当应用于医疗保健时，基于 NVIDIA 的 Dell AI Factory 的智能代理 RAG 有助于协调使用结构化数据 (如患者日程和档案) 和非结构化数据 (如医疗记录和影像文件) 的挑战，同时保持对 HIPAA 等要求的合规性。

这只是一个光明的选择。更多解决方案正在涌现，为正在进行生成式 AI 之旅的组织指明方向。

了解更多关于基于 NVIDIA 的 Dell AI Factory 的信息。

由戴尔科技集团为您呈现。