Gradient Labs首席执行官Dimitri Masin在接受采访时表示,企业使用AI代理进行客户支持时,应该只在机器人真正解决问题时才付费。
"以Salesforce为例,他们按对话次数对自动化服务收费,"Masin在电话采访中告诉记者。"基本上,只要你与AI进行对话,无论结果如何,都要支付2美元。"
根据Salesforce自己的研究人员在CRMArena-Pro基准测试中发现,领先的基于大语言模型的代理在单轮对话(提示和回复)任务中成功完成率约为58%,而在多轮对话(来回交流)请求中成功率仅约35%。
这对客户和AI代理的整体发展都不利。Masin说,无论结果如何都要付费,"这不会激励Salesforce真正改善其代理的性能。"
Salesforce未回应置评请求。但该公司在营销宣传中展示的数据出乎意料地要好得多。
Salesforce声称,从2024年10月到12月期间,其在Salesforce帮助页面上的Agentforce助手"现在无需人工干预就能解决83%的客户查询,需要人工干预的问题数量减少了一半,每周平均对话次数几乎翻了一倍。"
Masin认为按解决方案计费更有利于计算投资回报率(ROI)。
在探索AI的企业中,ROI是一个持续的担忧。根据应用安全公司F5去年发布的一项调查显示,"当被问及对AI模型开发、训练和推理未来最大的担忧时,近三分之二的受访者(62%)表示他们担心计算成本。"
"如果我们没有解决问题,你仍然需要让人工团队参与,那么你就不需要付费给我们,"Masin说。"这种模式之所以如此强大,是因为它与ROI直接相关,因为每家公司都知道平均一个合同的成本。"
这让公司能够就是否值得为基于AI代理的支持付费做出明智决策——这是企业一直难以做出的计算。Masin解释说,如果人工代理处理问题的平均成本是5美元或10美元,供应商以显著更低的价格提供相同结果的机会,ROI就更容易评估。
不幸的是,事情并没有那么简单。Masin解释说,客户支持服务的解决时间各不相同。
"实际上,你有各种不同的对话分布,有些非常简单,人工可以在一分钟内解决,"他解释道。"有些则非常困难,人工平均需要花费30到40分钟才能真正解决。显然,如果你只是按每次解决方案收取1美元的固定费用,就无法考虑到这种差异。"
Gradient Labs试图通过分层定价在其定价模型中捕捉这种变化。"基本上,如果你达到50%的解决率,那么你提供一个价格,"Masin说。"如果你达到70%的解决率,你提供更高的价格。因为你的解决率越高,自动化的查询越复杂,你为公司提供的每次解决方案的价值就越大。"
Masin表示,他的目标是收取人工成本约30%的费用,这样客户可以节省约70%的成本。
"理论上,这是一个显而易见的价值主张,"他说。"但复杂的地方在于,如果你只自动化最简单的50%的支持工单,而他们只节省了20%的时间,那么等式就不太一样了。所以他们可能付给你60%,但自己只节省40%,或者付给你70%,自己节省30%,因为最简单的工单与最困难的工单之间存在偏差。"
Masin声称,在没有定制的情况下,Gradient Labs的代理解决40%到60%的查询,这通常转化为约20%的成本节省。"这是在你整合任何数据点或AI代理可以代表客户执行的任何操作或工具之前,"他说。
他说,通过更多的数据集成,可以达到80%或90%,并指出这个过程通常需要三到五个月才能完成。与Sling Money的公司案例研究声称优化后的解决率为78%。
更重要的是,Masin声称,对于他公司最近的五个金融科技客户,AI代理部署获得的客户满意度评分比这些公司的内部客户支持团队更高。
他说,获得高满意度评分的关键是,AI在遇到困难时会很快转交给人工,而不是通过提问和寻求澄清来浪费人们的时间。
"我们一半的客户透露这是AI,一半不透露,"Masin说。"在那些不透露的公司中,客户实际上从未意识到他们在与AI交谈。"
然而,Masin承认AI代理并不是万能的解决方案。他指出销售和营销代理说,"每当我尝试一些时,它们在大多数情况下真的毫无用处。只是产生一些非常有价值的东西,只解决一个狭窄的问题。"
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。