IT 领导者在整合主动式 AI 与传统基础设施时的顾虑

代理型 AI 是去年生成式 AI 的重大突破技术，今年企业将大规模部署这些系统。

根据 KPMG 在一月份对大型企业的 100 名高级管理人员的调查，12% 的公司已经在部署 AI 代理，37% 处于试点阶段，51% 正在探索其使用。而 Gartner 在十月份的报告中指出，到 2033 年，33% 的企业软件应用将包含代理型 AI，而 2024 年这一比例不到 1%，这将使 15% 的日常工作决策能够自主完成。

特别是对于 AI 开发者来说，大家都在纷纷加入这个行列。

“我们实际上几乎一开始就用代理开始了我们的 AI 旅程，”邓白氏的首席数据和分析官 Gary Kotovets 说。

AI 代理由生成式 AI 模型驱动，但与聊天机器人不同，它们可以处理更复杂的任务，自主工作，并与其他 AI 代理结合成代理系统，能够处理整个工作流程，替代员工或解决高层次的业务目标。所有这些都带来了新的挑战，除了生成式 AI 本身带来的挑战之外。此外，与传统自动化不同，代理系统是非确定性的。这使得它们与普遍非常确定性的传统平台不相容。因此，70% 的开发者表示，他们在将 AI 代理与现有系统集成时遇到了问题。这是根据 AI 平台公司 Langbase 在十二月对 3,400 名构建 AI 代理的开发者进行的调查得出的结论。

问题在于，在将 AI 代理集成到公司的基础设施之前，该基础设施必须达到现代标准。此外，由于它们需要访问多个数据源，因此存在数据集成障碍和确保安全性与合规性的额外复杂性。

“拥有干净和高质量的数据是工作中最重要的部分，”Kotovets 说。“你要确保不会出现‘垃圾进，垃圾出’的情况。”

基础设施现代化

在十二月，Tray.ai 对 1,000 多名企业技术专业人士进行了一项调查，发现 90% 的企业表示与组织数据的集成对成功至关重要，但 86% 的企业表示需要升级现有技术栈以部署 AI 代理。

Intuit 的首席数据官 Ashok Srivastava 同意这一观点。“你的平台需要开放，以便大语言模型可以轻松地与平台进行推理和交互，”他说。“如果你想找到石油，你必须钻透花岗岩才能到达它。如果你的所有技术都被埋藏而没有通过合适的 API 集合和灵活的微服务集暴露出来，那么提供代理型体验将很困难。”

Intuit 自身目前处理 95 PB 的数据，每天生成 600 亿次机器学习预测，跟踪每个消费者 60,000 个税务和财务属性（每个企业客户 580,000 个），并每月处理 1,200 万次 AI 辅助交互，这些交互可供 3,000 万消费者和 100 万家中小企业使用。

通过现代化其自身平台，Intuit 不仅能够大规模提供代理型 AI，还改善了其运营的其他方面。“在过去四年中，我们的开发速度提高了八倍，”Srivastava 说。“不过，并不是所有的都是生成式 AI。很多都归功于我们构建的平台。”

但并非所有企业都能像 Intuit 那样进行技术投资。“我们大多数人都认识到，企业中绝大多数的记录系统仍然基于传统系统，通常是本地的，仍然为业务的大部分提供动力，”EY 的合伙人 Rakesh Malhotra 说。

正是这些事务性和运营系统、订单处理系统、ERP 系统和 HR 系统创造了业务价值。“如果代理的承诺是以自主方式完成任务，你需要访问这些系统，”他说。

但当一个传统系统以批处理模式运行时，这无济于事。他说，使用 AI 代理时，用户通常期望事情快速发生，而不是在批处理系统运行 24 小时后才发生。有解决这个问题的方法，但公司需要仔细考虑。

“那些已经更新其交互系统以与其传统交互系统接口的组织有一个良好的开端，”Malhotra 补充道。但拥有一个具有标准 API 访问的现代平台只是战斗的一半。公司仍然需要让 AI 代理真正与其现有系统对话。

数据集成挑战

Indicium 是一家全球数据服务公司，是数字原生企业，拥有现代平台。“我们没有很多传统系统，”该公司的首席数据官 Daniel Avancini 说。

Indicium 从 2024 年中期开始构建多代理系统，用于内部知识检索和其他用例。知识管理系统是最新的，支持 API 调用，但生成式 AI 模型用简单的英语进行交流。由于个别 AI 代理由生成式 AI 驱动，它们也用简单的英语交流，这在尝试将它们连接到企业系统时造成了麻烦。

“你可以让 AI 代理返回 XML 或 API 调用，”Avancini 说。但当一个主要目的是理解公司文档的代理尝试用 XML 交流时，它可能会犯错误。Avancini 建议使用专家。“通常你需要另一个代理，其唯一工作是将英语翻译成 API，”他补充道。“然后你必须确保 API 调用是正确的。”

处理连接问题的另一种方法是将传统软件包装器放在代理周围，类似于公司目前使用 RAG 嵌入将生成式 AI 工具连接到其工作流程中，而不是让用户直接无中介地访问 AI。这就是 Cisco 所做的。“我们对代理的看法是有某种基础模型，但围绕它的仍然是一个传统应用程序，”该公司的高级副总裁兼总经理 Vijoy Pandey 说，他也是 Cisco 的孵化引擎 Outshift 的负责人。这意味着有传统代码与数据库、API 和云栈接口，处理通信问题。

除了翻译问题外，将数据引入代理系统的另一个挑战是它们需要访问的数据源数量。根据 Tray.ai 的调查，42% 的企业需要访问八个或更多数据源才能成功部署 AI 代理，79% 的企业预计数据挑战将影响 AI 代理的部署。此外，38% 的企业表示集成复杂性是扩展 AI 代理的最大障碍。

例如，在 Cisco，整个内部运营管道是由代理驱动的，Pandey 说。“这有一个相当广泛的可操作区域，”他说。

更糟糕的是，使用 AI 驱动的代理而不是传统软件的原因是代理可以学习、适应并提出新问题的新解决方案。

“你无法预先确定代理需要的连接类型，”Pandey 说。“你需要一组动态插件。”

但给予代理过多的自主权可能是灾难性的，因此这些连接需要根据最初设置代理的实际人进行仔细控制。

“我们构建的东西就像一个动态加载的库，”他说。“如果一个代理需要在 AWS 实例上执行某个操作，例如，你实际上会根据请求该操作的人的身份在运行时拉入所需的数据源和 API 文档。”

加强安全性和合规性

那么，如果一个人命令代理系统做一些他或她无权做的事情，会发生什么？

生成式 AI 模型容易受到巧妙提示的攻击，这些提示会让它们超出允许的操作范围，称为越狱。或者如果 AI 本身决定需要做一些不应该做的事情呢？如果模型的初始训练、微调、提示或信息来源之间存在矛盾，这可能会发生。在 Anthopic 于十二月中旬与 Redwood Research 合作发布的一篇研究论文中，试图实现矛盾目标的尖端模型试图规避防护措施，谎报其能力，并从事其他类型的欺骗。

随着时间的推移，AI 代理将需要更多的自主权来完成其工作，Cisco 的 Pandey 说。

“但有两个问题，”他说。“AI 代理本身可能正在做某事。然后是用户或客户。那里可能有一些怪异的事情发生。”

Pandey 说，他从爆炸半径的角度考虑这个问题，如果 AI 或用户出现问题，爆炸半径有多大？当潜在的爆炸半径更具破坏性时，必须相应地调整防护措施和安全机制。

“随着代理获得更多自主权，你需要为这些自主权级别设置防护措施和框架，”他补充道。

在 D&B，AI 代理在可以做的事情上也受到严格限制，Kotovets 说。例如，一个主要的用例是让客户更好地访问公司拥有的约 5 亿家企业的记录。这些代理不被允许添加记录、删除记录或进行其他更改。“现在给他们这种自主权还为时过早，”Kotovets 说。

事实上，这些代理甚至不被允许编写自己的 SQL 请求，他说。“信息是推送给他们的。”

与数据平台的实际交互通过现有的安全机制处理。代理用于在这些机制之上创建一个智能用户界面。然而，随着技术的进步，客户希望获得更多功能，这可能会改变。

“今年的想法是与我们的客户一起发展，”他说。“如果他们希望更快地做出某些决策，我们将根据他们的风险承受能力构建代理。”

D&B 并不是唯一担心 AI 代理风险的公司。Insight Partners 发现，除了数据质量之外，隐私和安全性是 2025 年企业 AI 战略的首要关注点，合规性在部署 AI 代理时也构成了额外的障碍，特别是在数据敏感行业，例如，公司可能需要遵循数据主权法律、数据治理规则和医疗保健法规。

例如，当 Indicium 的 AI 代理尝试访问数据时，公司会将请求追溯到其来源，即提出问题并启动整个过程的人。

“我们必须验证这个人，以确保他们拥有正确的权限，”Avancini 说。“并不是所有公司都了解其中的复杂性。”

特别是对于传统系统，这种细粒度的访问控制可能很困难，他补充道。一旦建立了身份验证，必须在处理问题的各个代理链中保持这种身份验证。

“这确实是一个挑战，”Avancini 说。“你需要有一个非常好的代理建模系统和很多防护措施。关于 AI 治理有很多问题，但答案不多。”

由于代理使用英语交流，人们会尝试无穷无尽的技巧来欺骗 AI。“我们在实施任何东西之前都会进行大量测试，然后进行监控，”他补充道。“任何不正确或不应该存在的东西我们都需要调查。”

在 IT 顾问公司 CDW，AI 代理已经用于帮助员工响应提案请求。该代理被严格锁定，CDW 的首席 AI 架构师 Nathan Cartwright 说。“如果其他人给它发消息，它会反弹回来，”他说。

他说，还有一个系统提示指定了代理的目的，因此任何超出该目的的东西都会被拒绝。此外，防护措施防止代理泄露个人信息或限制其可以处理的请求数量。然后，为了确保防护措施有效，每次交互都会被监控。

“拥有一个可观察性层来查看正在发生的事情很重要，”他说。“我们的是完全自动化的。如果达到速率限制或内容过滤器，系统会发送电子邮件说检查这个代理。”

从小而离散的用例开始有助于降低风险，CDW 的首席架构师 Roger Haney 说。“当你专注于你想要做的事情时，你的领域相对有限，”他说。“这就是我们看到成功的地方。我们可以提高性能；我们可以缩小规模。但最重要的是获得适当的防护措施。这是最大的价值，而不是将代理连接在一起。这一切都与业务规则、逻辑和合规性有关，必须事先设置好。”