Monte Carlo推出AI智能体全栈可观测性工具

大数据可观测性初创公司Monte Carlo Data推出全新Agent Observability产品,为AI应用提供全方位数据和AI可观测性。该工具帮助团队检测、分类和修复生产环境中AI应用的可靠性问题,防止代价高昂的"幻觉"现象,避免客户信任度下降和系统宕机。新产品采用大语言模型作为评判器的技术,能够同时监控AI数据输入和输出,提供统一的AI可观测性解决方案。

大数据可观测性初创公司Monte Carlo Data推出了新的智能体可观测性产品,为人工智能领域提供全面的数据和AI可观测性解决方案。

该公司表示,这款新工具将帮助团队更容易地检测、分类和修复生产环境中AI应用程序的可靠性问题,防止代价高昂的"幻觉"现象,避免客户信任度下降和系统停机。

Monte Carlo以其热门的数据可观测性平台而闻名,企业使用该平台来监控数据资产的"质量"。该平台基于与Datadog和AppDynamics等应用可观测性工具相同的原理,但应用于数据管道而非应用指标。它通过机器学习算法理解客户数据流的正常行为,当出现异常时发出警告。

通过智能体可观测性,Monte Carlo将相同的能力引入AI技术栈,确保代表用户执行操作的AI应用程序和智能体始终准确可靠。这建立在5月份推出的非结构化数据监控能力基础上,将可观测性套件扩展到日志、Word文档、PDF文档和PowerPoint等内容。

公司表示需要更全面的AI可观测性解决方案,因为现有产品虽然能发现AI数据输入或输出的可靠性问题,但无法同时检测两者。而智能体可观测性涵盖数据摄取、转换、信息检索和响应,确保输入和输出都准确无误。

新产品利用大语言模型评判技术来检测低质量的AI输出,以及性能问题和故障。大语言模型评判是指使用训练有素的大语言模型来评估其他AI系统的输出,根据质量、与初始提示的相关性和准确性进行评估。这种方法比传统的人工评估更具可扩展性,能跟上当今AI使用的步伐。

Monte Carlo表示整个过程是自动化的,但仍需要大量人工参与。用户可以设置自定义提示来教授大语言模型评判器什么是"正确"的AI输出,基于多样化的质量标准。一旦响应偏离标准,用户就会立即收到警报。

智能体可观测性还集成了一套"低代码评估监控器",用于监控影响AI模型性能的最常见问题。这有助于检测"漂移"现象,即AI系统响应逐渐演变并变得不太相关或有用,这是由于它们通过记住与用户的早期交互来学习经验。如果AI模型的响应开始失去清晰度、可读性降低或出现其他错误,系统会在错误变得过于明显之前标记出来,让操作员能够及时干预并修复潜在问题。

该系统还涉及大量遥测数据,让团队能够调查AI模型或智能体中出现的问题并了解根本原因。它跟踪包括用户查询和提示、完成情况、延迟和错误在内的信号,提供每个模型性能的实时视图。这些遥测数据存储在客户现有的数据环境中,任何问题都能轻松追溯到有问题的底层数据。

Monte Carlo认为,其智能体可观测性套件正是超过80%已在某种程度上采用AI智能体的组织所需要的。尽管AI智能体极受欢迎,但很少有公司有办法跟踪和维护其可靠性。这是Gartner报告显示30%的AI项目最终被放弃的原因之一。

联合创始人兼首席执行官Barr Moses表示,可靠性不仅仅是企业想要拥有的东西,而是构建可扩展、可采用的AI产品以产生真正商业价值的绝对关键。这解释了她对跨越输入和输出的统一AI可观测性平台的愿景。

"当AI智能体失败时,后果可能是巨大而持久的,包括昂贵耗时工作的低采用率、客户信任度下降以及对企业底线的巨大冲击,"她说。"解决孤立问题的点解决方案已经不够了。我们的客户需要统一的方法来确保他们的AI智能体按预期运行。"

星座研究公司的分析师Holger Mueller表示,看到AI正在改变可观测性并不令人意外,就像它影响了软件行业的大多数其他领域一样。"Monte Carlo在同时监控输入和AI输出方面有独特的机会,"这位分析师说。"问题是,谁来监控监控AI的AI——是AI供应商还是Monte Carlo本身?毫无疑问,双方都会为自己应该承担这项工作提出有力论据,但也许两者都发挥作用会更好。"

Q&A

Q1:Monte Carlo的智能体可观测性工具有什么特殊功能?

A:Monte Carlo的智能体可观测性工具能够同时监控AI应用的输入和输出,这是现有产品无法做到的。它利用大语言模型评判技术检测低质量AI输出,集成低代码评估监控器检测常见性能问题,还提供实时遥测数据追踪用户查询、完成情况、延迟和错误等信号。

Q2:什么是AI漂移现象,如何检测?

A:AI漂移是指AI系统响应逐渐演变并变得不太相关或有用的现象,通常因为AI通过记住与用户的早期交互来学习经验导致。Monte Carlo的系统通过低代码评估监控器来检测这种漂移,当AI模型响应失去清晰度、可读性降低或出现其他错误时,会在问题变得严重之前发出警报。

Q3:为什么企业需要AI可观测性解决方案?

A:根据Gartner报告,30%的AI项目最终被放弃,主要原因是缺乏可靠性保障。超过80%的组织已采用AI智能体,但很少有公司能跟踪和维护其可靠性。当AI智能体失败时,会导致客户信任度下降、高昂的时间成本以及对企业底线的巨大冲击,因此需要统一的可观测性方法。

来源:SiliconANGLE

0赞

好文章,需要你的鼓励

2025

09/10

07:34

分享

点赞

邮件订阅