尽管企业在生成式AI项目上投入了数十亿资金,但95%的公司都没有获得可衡量的回报。这一来自2025年7月MIT NANDA报告的统计数据在AI支持者、怀疑者和反对者中引起了轩然大波。八个月后——在AI领域这已经是很长的时间——公司正在努力寻找推动AI用例发展的方法。
但事实依然如此:AI规模化扩展很困难。供应商并不总能交付预期的结果。扩大AI应用成本高昂。底层数据质量仍然是一个常见的绊脚石。终端用户必须将AI工具采用到他们的工作流程中。一个令人兴奋的AI用例可能无法扎根和扩展的原因有很多。
但对AI进行无拘无束试验的时代即将结束。企业领导者和投资者期望CIO实施AI用例,扩展它们并提供可衡量的回报。
InformationWeek采访了来自不同行业的三位CIO,了解他们在各自组织中正在扩展的AI项目,以理解什么有效——什么无效:
有效做法:AI规模化扩展的5个实践
McCormack、Schaeffer和Sastry在不同行业运营并追求不同的AI用例,但他们扩展AI的方法有共同特征。这五个实践帮助他们的努力超越了试点阶段。
1. 识别可行的用例
First Student聘请McCormack担任CIO来推动转型。他之前在Harley-Davidson和Grainger都做过这样的工作。当他加入First Student时,他和CEO进行了技术走访。
"我们与每个团队会面,说'嗨,向我们展示你们今天拥有的流程。然后技术是如何帮助或阻碍你们的?'"McCormack说。"这真的很有启发性,因为它让我了解了整个业务。"
这次走访帮助McCormack识别了First Student的真正痛点。他看到了公司司机和调度员的日常工作,这些知识成为开发Halo的基础。
"重点是真正创建一个现代化的端到端交通解决方案,将一切联系在一起——从我们与客户签订合同的时候开始,一直到我们如何规划路线,如何进行调度,日常检查,工资单,招聘,一切,将所有这些整合到一个平台上,"McCormack说。
OceanFirst的主要关注点是BSA和AML法规要求的客户尽职调查,这是金融机构的核心功能。银行在这方面花费大量时间,特别是对商业客户。
"一家企业可能有20个关联关系,你必须检查列表上的每个实体。仅查找一个实例就可能需要一整天时间,而我们每月要处理几百个这样的案例,"Schaeffer说。
"AI的用例真正开始显现,因为你需要做的就是查看所有这些细节,分析它们,总结它们,看看是否有任何问题,"他补充道。原本需要半天的搜索现在几分钟就能完成。
Lowell Community Health Center管理着复杂的患者群体。根据Sastry的介绍,超过一半的患者说英语以外的语言,近90%的患者收入低于联邦贫困线的200%。呼叫中心是患者的主要接触点,这是一个具有挑战性的工作流程。Sastry说她看到了评估AI供应商进行呼叫分诊和语言支持的机会。
"作为社区健康中心,我们总是处于基于需求进行创新的前沿,而不是'让我们尝试做一些酷的事情',"她说。"那是我们通常没有的奢侈品。"
2. 小步稳进赢得比赛
这三位CIO都采取了谨慎的方法来启动和扩大他们的AI用例。
"对于任何未来的AI计划,我学到的是你必须从小处开始。在扩展之前,你必须有一个非常有限的试点,"Lowell Community Health Center的Sastry说。
OceanFirst的Schaeffer将企业在从AI中获得任何收益之前必须完成的所有基础工作描述为一个分层蛋糕。"我们知道那个分层蛋糕的存在,"他说。"我们没有意识到蛋糕比我们想象的要大。"
该银行已经花费数月时间在其特定用例上工作,测试并构建计划在第二季度推出的生产就绪版本。
"好消息是,一旦你开始获得牵引力,它就会加速。你开始更快地建立在成功的基础上,因为你有更强的基础,"Schaeffer说。
Sastry知道在Lowell Community Health Center呼叫中心引入AI必须缓慢进行,以确保不会对患者体验产生负面影响。首先,团队成员在下班时间部署了AI操作员。一旦他们确信它按预期工作,他们开始在营业时间内每次开启一小时。"在那之后,我们集体决定将其扩展为24/7运营是很棒的,"Sastry说。
First Student的Halo平台从构思到企业部署大约花了两年时间,McCormack说。他应用了在之前角色中行之有效的同样谨慎的设计、实施和部署方法。它从构思和A/B测试开始。他和他的团队制作了可点击的原型,并将它们放在实际用户面前以获得反馈。然后,项目转向开发、试点,最终是企业部署。
3. 选择正确的供应商
对于与外部帮助合作的企业来说,选择正确的供应商是成功应用和扩展AI使用的重要部分。例如,Sastry知道她需要找到一个理解联邦合格健康中心非常具体需求和挑战的供应商。
"在我与Attned的对话中,我非常透明和诚实地对他们说,'嗨,我们没有带宽在第一天就签署协议。我需要能够测试这个,评估投资回报率,看看它如何适应整体计划,'"她说。
CIO需要为潜在的AI供应商定义标准,并评估他们的选择,找到一个将与他们合作实现特定AI用例目标的供应商。
4. 跟踪成功和失败
CIO需要在尝试扩展之前、在升级过程中以及持续基础上跟踪特定AI用例性能的机制。所有三位CIO都同意,在不知道它是否真正提供预期结果的情况下启动重大项目是没有意义的。
对于Halo平台,McCormack和他的团队定义了跟踪对First Student重要结果的指标。例如,提供安全驾驶警报的AI安全摄像头是Halo的一部分。
"人们是否滚动通过停车标志?他们是否没有系安全带?他们是否分心?我们可以跟踪很多事情,我们能够在所有试点中显示我们有可衡量的改进,"他说。
OceanFirst利用微软;该银行有一个Power BI仪表板来跟踪AI利用率。"我们在看你点击它多少次,有多少次事情得到解决,我们认为答案的准确性如何。我们采用这些并重新测量和调整我们正在做的事情,"Schaeffer说。
对于Lowell Community Health Center,成本和患者体验是两个最重要的指标。下班后的电话会转到付费的第三方应答服务。Sastry和她的团队正在观察AI如何分诊电话并减少需要转到付费服务的数量。
健康中心也在跟踪放弃率。面对如此大量的电话,有多少患者在得到问题答案之前挂断了电话?自从推出前线语音AI以来,放弃率已经下降。
5. 快速失败
CIO不希望发现自己陷入AI试点墓地,但并不是每个AI项目都会成功。McCormack建议,与其绑定在一艘沉船上,不如识别一些想法,快速测试它们,并识别那些有潜力提供价值的。
"快速失败。这不是坏事,"他说。"如果你以正确的方式做,你想要设计思维,你想要最终用户的参与。你想要有这些指标,这样你就不会走上投资6到12个月开发,然后推出一个失败产品的道路。"
对于在时间压力下必须从AI获得可衡量投资回报率的CIO来说,失败可能是一个不愉快的前景。他们可以通过与行业同行交谈来避免一些潜在的失误。Schaeffer与其他银行的团队谈论他们AI努力中什么有效什么无效。"没有什么比与经历过、生活过并告诉你要避免什么的人交谈更好的了,"他说。
什么不起作用?要避免的3件事
同样重要的是什么有效和什么无效。这些CIO指出了可能在AI努力起步之前就停滞的常见错误。
缺乏目的的热情
AI炒作是真实的。CIO被供应商的推销、同行的压力和员工的想法淹没。虽然兴奋本身不是坏事,但它不应该是指导原则。
"不要因为AI令人兴奋就扩展它。要因为它可衡量地解决了一个明确的运营问题而扩展它,"Sastry说。
没有具体用例和为该用例成功所需的底层工作的兴奋几乎肯定会以失望告终。
在OceanFirst,Schaeffer从早期进入AI领域中学到了一些教训。"我们最初进入AI是生成式的,在聊天机器人方面。我们在那里的成功有限,"他说。"我们为人力资源政策做了一个聊天机器人:一个'我能休几天假?'那种事情。这不是我们希望的'啊哈,哇'时刻。"
忘记最终用户
无论AI用例在纸面上看起来多么令人兴奋,如果预期的最终用户不采用它,它就会失败。这就是为什么与这些最终用户沟通并让他们参与新AI工具的测试过程是非常宝贵的。
在First Student,司机通过获得任务和检查公交车开始他们的一天。他们拍摄任何问题的照片,然后发送给维护团队。在他们手中放置平板电脑来数字化整个过程——Halo平台的最终目标——似乎是个好主意。
"我们没有想到的一件事是,很多这些司机在早上4点进来做检查。我们给他们的平板电脑没有手电筒,"McCormack说。"这就是进行概念验证和现场测试的价值,真正确保在进行大规模推广之前你做得正确。"
除了确保用例真正使最终用户受益外,CIO还需要准备好解决变更管理问题。人们经常抵制变化,考虑到关于AI替代人类工作者能力的大量讨论,AI可能引发特别情绪化的反应。如果CIO忽视最终用户对新AI工具或程序的反应,他们就有采用率低的风险。
First Student有一个完整的变更管理程序,确保工作人员知道技术如何工作以及如何为他们工作。"我们非常主动...帮助他们了解即将到来的东西,基于角色创建定制化培训,进行大量现场、白手套式待遇,"McCormack说。
等待解决数据和AI治理
在没有治理的情况下扩展AI是本末倒置的典型例子。你在AI领域不断听到"垃圾进,垃圾出"是有原因的。数据需要在能够支持任何真正有价值的AI使用之前被组织、管理并具有高质量。
"我们一些早期的聊天机器人...失败了,因为我们没有像应该的那样考虑数据,"Schaeffer说。从那时起,数据基础已经成为银行的优先事项。
AI领域发展如此之快,跳进去、尝试事物、然后再考虑治理的冲动是强烈的。但试图在没有治理的情况下扩展会带来风险:项目不成功的风险、安全风险和监管风险。
"早期建立治理,在扩展之前,在启动之前定义投资回报率,并将其嵌入到有人工参与的工作流程中,"Sastry说。"这就是AI如何成为更多的工具、技术、基础设施,而不是做一些酷事情的东西。"
持续的规模化斗争
一旦CIO在他们的企业中建立了AI基础,他们就可以开始建立在他们的成功之上。但这并不意味着规模化会突然变得容易。底层治理仍然至关重要。CIO必须考虑不断变化的监管指导方针、安全性和技术变化的速度。CIO需要持续迭代,从错误中学习,并管理在组织中扩大AI使用的技术和人员要素。
"不要气馁。会有战斗伤痕,特别是当你试图推出新东西时,"Sastry说。
Q&A
Q1:为什么95%的企业从生成式AI项目中没有获得可衡量回报?
A:主要原因包括:供应商无法交付预期结果、AI扩展成本高昂、底层数据质量问题频繁出现、最终用户难以将AI工具融入工作流程。此外,缺乏明确的用例定义、治理机制不完善、以及过于急于扩展而忽视基础建设也是重要因素。
Q2:CIO在扩展AI项目时应该如何选择合适的供应商?
A:CIO需要为潜在AI供应商定义明确标准,评估其是否理解企业的具体需求和挑战。重要的是找到愿意合作实现特定AI用例目标的供应商,而不是仅仅提供产品的供应商。同时要确保供应商支持试点测试和逐步扩展的方式。
Q3:在扩展AI应用时最常见的错误有哪些?
A:三个主要错误包括:一是缺乏目的的热情,仅因为AI令人兴奋就盲目投入;二是忘记最终用户需求,不让用户参与测试过程导致采用率低;三是等到项目后期才考虑数据治理,没有在扩展前建立好数据组织、管理和质量保证机制。
好文章,需要你的鼓励
企业AI搜索公司Glean宣布年度经常性收入(ARR)达3亿美元,较15个月前的1亿美元增长三倍。尽管谷歌、微软、OpenAI等科技巨头纷纷入局企业AI搜索市场,Glean凭借"上下文图谱"技术深度理解企业业务需求,并帮助客户显著降低AI计算成本。该公司提供按用量计费和混合定价两种模式,客户涵盖Databricks、Reddit、Pinterest及三星等企业。Glean上轮融资后估值达72亿美元。
香港中文大学与MiniMax提出ClaimDiff-RL框架,将图像描述的AI训练从整体打分升级为逐条核查,有效解决了传统方式导致AI"少说保平安"的问题,同时在多项基准测试上超越Gemini-3-Pro-Preview。
杰夫·贝索斯旗下的蓝色起源公司在佛罗里达卡纳维拉尔角进行静态点火测试时,新格伦重型火箭发生爆炸。这是美国历史上最大规模的火箭爆炸之一,也是蓝色起源公司遭遇的最严重失败。所有人员安全,但该事故可能导致新格伦火箭项目长期暂停。此前该火箭已成功完成三次发射,并实现了助推器回收和重复使用。
ParaVT是一个由南洋理工等多校联合提出的并行视频工具调用框架,通过让AI同时分析多段视频并引入PARA-GRPO算法解决训练中的格式崩溃与工具跳过问题,在六项长视频理解测试中平均提升约7.9%。