避免AI智能体成本失控的五大设计要点

IT领导者需要从根本上重构数据基础设施和企业软件栈，否则将面临"隐形且昂贵"的人工智能智能体给组织带来的负担。

戴尔科技公司副董事长兼首席运营官Jeff Clarke提出了五项结构性和架构性要点，帮助企业在不失去预算控制和数据安全的前提下，成功扩展自主智能体工作流。

停止将数据迁移到AI

Clarke的第一个要点针对企业数据分散的现状。他指出，虽然现代AI依赖数据运行，但大多数组织正在应对数据孤岛问题，尚未为智能体应用场景做好准备。

"在大多数企业中，数据分散在数十个系统中，"Clarke说。"其中80%到90%是非结构化数据，没有一个能以有效支持大规模智能体的方式连接起来。"

Clarke认为，与其将海量数据集复制并转移到外部基于云的模型，组织必须将模型引入现有存储系统。

"要大规模驱动智能体，你需要一个实时连接的知识线，这里有一个结构性和架构性决策必须做出：不要将数据迁移到AI，而是将AI迁移到数据，"他说。"这从根本上是一种不同的方法，坦率地说，这是我们现在就需要做出的决定。"

为大规模多步骤推理工作负载设计

虽然早期企业AI工作专注于集中式模型训练，Clarke强调AI推理需求的指数级增长需要完全不同层级的算力。

与简单的聊天机器人不同，智能体AI系统执行多步骤推理，频繁调用各种模型来规划、执行和迭代复杂工作流。

"当我考虑推理时，你会看到推理模型执行多步骤链，"Clarke解释道。"这些工作负载的计算密集度是18周前的10到100倍，有些甚至说是1000倍。AI原生企业必须同时为训练和推理而构建。"

要求每个自主操作都有"凭证"

由于AI智能体不仅检索信息，还主动执行业务流程——例如修改客户记录、下订单或发起金融交易——安全性不能再被视为被动层。

Clarke呼吁重新设计企业系统，以记录、跟踪和可逆地提交AI智能体采取的每一个操作。

"它们不仅调用模型，还调用你的客户关系管理系统、企业资源规划系统、财务系统以及客户数据库，"他说。"每一个接触点都必须被保护、记录并可逆。"

他指出，跟踪智能体操作是业务连续性的关键："当智能体代表你行动时——更改价格、更新客户记录或启动退货流程——你需要知道它做了什么、为什么这样做以及如果出错如何撤销。在AI劳动力中，每个操作都需要凭证。这不是合规性复选框，这是你如何在将自主行动的系统中建立信任。"

整合企业软件栈

Clarke警告说，如果组织现有的软件栈没有通过应用程序编程接口编排统一起来，任何部署的AI智能体都将成为昂贵的孤立失败案例。

"智能体成为协调者，"他说。"智能体需要规划任务、调用工具、执行工作并处理整个软件栈中的异常。这意味着需要API代码架构、工作流编排以及能够执行多步骤的智能体框架。"

如果没有这种深度的全栈集成，Clarke向首席信息官发出直白警告："如果你的软件栈做不到这一点，你的智能体将会孤立且昂贵，这绝不是你想与董事会讨论的话题。"

掌握Token路由的经济学

最后，Clarke敦促IT领导者优化Token经济学，而不是默认为每个任务使用最先进的前沿模型。真正的效率在于将正确的任务路由到成本最合适的模型，无论它位于本地、边缘还是云端。

"问题不在于消耗是否会增长——它绝对会增长。问题是，你是否在正确的基础设施上运行正确的Token？"Clarke说，他补充道，例如生成常规摘要不需要使用前沿模型。

"如果你做对了，你将获得最佳性能、隐私和成本效率。因为简单就在一个地方运行所有内容，你会准备好迎接惊喜——一张只会越来越大的巨额账单。Token路由的概念——将Token放在哪里——将是我们要做出的最重要决策之一，"Clarke总结道。

Q&A

Q1：为什么企业不应该将数据迁移到AI模型？

A：因为大多数企业的数据分散在数十个系统中，80%到90%是非结构化数据，复制和转移海量数据集到外部云模型成本高昂且低效。正确做法是将AI模型引入现有数据存储系统，建立实时连接的知识线，这是一种从根本上不同且更高效的方法。

Q2：AI智能体的推理工作负载与传统AI有什么不同？

A：AI智能体执行多步骤推理，频繁调用各种模型来规划、执行和迭代复杂工作流，其计算密集度是18周前的10到100倍，有些甚至达到1000倍。这与早期简单的聊天机器人或集中式模型训练完全不同，需要企业构建全新层级的算力基础设施。

Q3：什么是Token路由，为什么它对企业很重要？

A：Token路由是指根据任务需求，将计算任务分配到成本最合适的模型上，而不是默认使用最先进的前沿模型。例如生成常规摘要不需要使用昂贵的前沿模型。正确的Token路由能获得最佳性能、隐私和成本效率，避免产生越来越大的巨额账单。