Galileo Technologies Inc.(一家专门开发 AI 模型观察和评估工具的公司)今天推出了 Agentic Evaluations 平台,该平台旨在评估由大语言模型驱动的 AI 代理系统的性能。
该公司表示,他们正在解决代理系统带来的额外复杂性问题。这些软件机器人具备决策能力,能够在几乎不需要人工监督的情况下,跨多个步骤进行规划、推理和执行任务,并能适应不断变化的环境和场景。
由于代理系统的行为具有情境依赖性,开发人员往往难以理解故障发生的时间和原因。但这并未影响人们对这项技术在提升工作流程效率方面的兴趣。Gartner Inc. 预测,到 2028 年,33% 的企业软件应用将包含代理式 AI,而 2024 年这一比例还不到 1%。
代理系统以新的方式挑战着现有的开发和测试技术。首先,它们可以针对用户请求选择多个动作序列,这使其行为难以预测。复杂的代理工作流程难以建模,需要更复杂的评估方法。代理系统可能会使用多个大语言模型,这使得性能和成本更难确定。随着工作流程的规模和复杂性增加,错误风险也会增大。
Galileo 表示,其 Agentic Evaluations 为系统级和逐步评估提供了完整的生命周期框架。它让开发人员可以查看整个多步骤代理过程,从输入到完成的全过程,通过追踪和简单的可视化展示,帮助开发人员快速定位效率低下和错误之处。该平台使用一套专有的"LLM-as-a-Judge"指标(一种使用大语言模型来检查和评判任务的评估技术),专门服务于构建代理系统的开发人员。
评估指标包括对大语言模型规划器是否选择了正确的工具和参数的评估、对单个工具错误的评估、反映最终目标进展的追踪,以及最终行动与代理系统原始指令的一致性。根据公司博客文章显示,这些指标的准确率在 93% 到 97% 之间。
平台使用专有的、基于研究的指标在多个层面测量性能。开发人员可以选择参与规划的大语言模型,并评估单个任务中的错误。
跨会话和时间段的成本、延迟和错误的聚合跟踪有助于成本和延迟测量。警报和仪表板有助于识别系统性问题,以实现持续改进,例如工具调用失败或行动与指令之间的不一致。该平台支持流行的开源 AI 框架 LangGraph 和 CrewAI。
Agentic Evaluations 现已向所有 Galileo 用户开放。该公司已筹集 6800 万美元资金,包括去年十月的 4500 万美元融资轮。
好文章,需要你的鼓励
施耐德电气以“新质服务+产业向‘新’行”为主题,第六次参会,展示全新升级的“新质服务体系”,围绕创新驱动、生态协同和行业赋能三大核心领域,以全新升级的“新质服务体系”,助力中国产业向高端化、智能化、绿色化迈进。
香港中文大学联合上海AI实验室推出Dispider系统,首次实现AI视频"边看边聊"能力。通过创新的三分式架构设计,将感知、决策、反应功能独立分离,让AI能像人类一样在观看视频过程中进行实时交流,在StreamingBench测试中显著超越现有系统,为教育、娱乐、医疗、安防等领域的视频AI应用开启新可能。
甲骨文正在成为大规模基础设施供应商的可靠选择。该公司通过AI技术推动应用开发,构建GenAI模型并将智能代理集成到应用套件中。CEO萨弗拉·卡茨透露,公司剩余履约义务达4553亿美元,同比增长4.6倍,并预测OCI收入将从2026财年的180亿美元增长至2030财年的1440亿美元。甲骨文正积极布局AI推理市场,凭借其作为全球最大企业私有数据托管方的优势地位,有望在云计算领域实现重大突破。
Atla公司发布Selene Mini,这是一个仅有80亿参数的AI评估模型,却在11个基准测试中全面超越GPT-4o-mini。通过精心的数据筛选和创新训练策略,该模型不仅能准确评判文本质量,还能在医疗、金融等专业领域表现出色。研究团队将模型完全开源,为AI评估技术的普及和发展做出贡献。