Galileo Technologies Inc.(一家专门开发 AI 模型观察和评估工具的公司)今天推出了 Agentic Evaluations 平台,该平台旨在评估由大语言模型驱动的 AI 代理系统的性能。
该公司表示,他们正在解决代理系统带来的额外复杂性问题。这些软件机器人具备决策能力,能够在几乎不需要人工监督的情况下,跨多个步骤进行规划、推理和执行任务,并能适应不断变化的环境和场景。
由于代理系统的行为具有情境依赖性,开发人员往往难以理解故障发生的时间和原因。但这并未影响人们对这项技术在提升工作流程效率方面的兴趣。Gartner Inc. 预测,到 2028 年,33% 的企业软件应用将包含代理式 AI,而 2024 年这一比例还不到 1%。
代理系统以新的方式挑战着现有的开发和测试技术。首先,它们可以针对用户请求选择多个动作序列,这使其行为难以预测。复杂的代理工作流程难以建模,需要更复杂的评估方法。代理系统可能会使用多个大语言模型,这使得性能和成本更难确定。随着工作流程的规模和复杂性增加,错误风险也会增大。
Galileo 表示,其 Agentic Evaluations 为系统级和逐步评估提供了完整的生命周期框架。它让开发人员可以查看整个多步骤代理过程,从输入到完成的全过程,通过追踪和简单的可视化展示,帮助开发人员快速定位效率低下和错误之处。该平台使用一套专有的"LLM-as-a-Judge"指标(一种使用大语言模型来检查和评判任务的评估技术),专门服务于构建代理系统的开发人员。
评估指标包括对大语言模型规划器是否选择了正确的工具和参数的评估、对单个工具错误的评估、反映最终目标进展的追踪,以及最终行动与代理系统原始指令的一致性。根据公司博客文章显示,这些指标的准确率在 93% 到 97% 之间。
平台使用专有的、基于研究的指标在多个层面测量性能。开发人员可以选择参与规划的大语言模型,并评估单个任务中的错误。
跨会话和时间段的成本、延迟和错误的聚合跟踪有助于成本和延迟测量。警报和仪表板有助于识别系统性问题,以实现持续改进,例如工具调用失败或行动与指令之间的不一致。该平台支持流行的开源 AI 框架 LangGraph 和 CrewAI。
Agentic Evaluations 现已向所有 Galileo 用户开放。该公司已筹集 6800 万美元资金,包括去年十月的 4500 万美元融资轮。
好文章,需要你的鼓励
腾讯ARC实验室推出AudioStory系统,首次实现AI根据复杂指令创作完整长篇音频故事。该系统结合大语言模型的叙事推理能力与音频生成技术,通过交错式推理生成、解耦桥接机制和渐进式训练,能够将复杂指令分解为连续音频场景并保持整体连贯性。在AudioStory-10K基准测试中表现优异,为AI音频创作开辟新方向。
Coursera在2025年连接大会上宣布多项AI功能更新。10月将推出角色扮演功能,通过AI人物帮助学生练习面试技巧并获得实时反馈。新增AI评分系统可即时批改代码、论文和视频作业。同时引入完整性检查和监考系统,通过锁定浏览器和真实性验证打击作弊行为,据称可减少95%的不当行为。此外,AI课程构建器将扩展至所有合作伙伴,帮助教育者快速设计课程。
Meta与特拉维夫大学联合研发的VideoJAM技术,通过让AI同时学习外观和运动信息,显著解决了当前视频生成模型中动作不连贯、违反物理定律的核心问题。该技术仅需添加两个线性层就能大幅提升运动质量,在多项测试中超越包括Sora在内的商业模型,为AI视频生成的实用化应用奠定了重要基础。