Galileo Technologies Inc.(一家专门开发 AI 模型观察和评估工具的公司)今天推出了 Agentic Evaluations 平台,该平台旨在评估由大语言模型驱动的 AI 代理系统的性能。
该公司表示,他们正在解决代理系统带来的额外复杂性问题。这些软件机器人具备决策能力,能够在几乎不需要人工监督的情况下,跨多个步骤进行规划、推理和执行任务,并能适应不断变化的环境和场景。
由于代理系统的行为具有情境依赖性,开发人员往往难以理解故障发生的时间和原因。但这并未影响人们对这项技术在提升工作流程效率方面的兴趣。Gartner Inc. 预测,到 2028 年,33% 的企业软件应用将包含代理式 AI,而 2024 年这一比例还不到 1%。
代理系统以新的方式挑战着现有的开发和测试技术。首先,它们可以针对用户请求选择多个动作序列,这使其行为难以预测。复杂的代理工作流程难以建模,需要更复杂的评估方法。代理系统可能会使用多个大语言模型,这使得性能和成本更难确定。随着工作流程的规模和复杂性增加,错误风险也会增大。
Galileo 表示,其 Agentic Evaluations 为系统级和逐步评估提供了完整的生命周期框架。它让开发人员可以查看整个多步骤代理过程,从输入到完成的全过程,通过追踪和简单的可视化展示,帮助开发人员快速定位效率低下和错误之处。该平台使用一套专有的"LLM-as-a-Judge"指标(一种使用大语言模型来检查和评判任务的评估技术),专门服务于构建代理系统的开发人员。
评估指标包括对大语言模型规划器是否选择了正确的工具和参数的评估、对单个工具错误的评估、反映最终目标进展的追踪,以及最终行动与代理系统原始指令的一致性。根据公司博客文章显示,这些指标的准确率在 93% 到 97% 之间。
平台使用专有的、基于研究的指标在多个层面测量性能。开发人员可以选择参与规划的大语言模型,并评估单个任务中的错误。
跨会话和时间段的成本、延迟和错误的聚合跟踪有助于成本和延迟测量。警报和仪表板有助于识别系统性问题,以实现持续改进,例如工具调用失败或行动与指令之间的不一致。该平台支持流行的开源 AI 框架 LangGraph 和 CrewAI。
Agentic Evaluations 现已向所有 Galileo 用户开放。该公司已筹集 6800 万美元资金,包括去年十月的 4500 万美元融资轮。
好文章,需要你的鼓励
亚马逊在新加坡中央商务区开设了一个占地36万平方英尺的亚太旗舰中心。这标志着亚马逊成立30周年和亚马逊云服务(AWS)在新加坡运营15周年。新中心将容纳亚马逊和AWS员工,设有促进员工福祉、协作和客户互动的设施,展示了亚马逊对新加坡经济的巨大投资和对数字技能发展的贡献。
Adobe 推出新的 AI 视频生成功能,可将静态图像转换为视频并延长现有视频片段。该功能包括从文本提示生成短视频、将静态图像转为视频剪辑,以及在 Premiere Pro 中延长视频长度。Adobe 声称生成的视频内容"知识产权友好",创作者可安全使用。这项技术主要用于填充视频空白、生成背景画面和特效等。
Forrester 预测 2025 年欧洲企业 IT 支出将增长 5%,达 4.9 万亿美元。人工智能、网络安全和云基础设施成为主要增长动力。美国和亚太地区的 IT 投资占 GDP 比重更高,软件和 IT 服务将占全球技术支出的 66%。未来五年,技术投资将以前所未有的速度重塑各行各业。
随着人类探索太空的脚步不断推进,科学家们正在研发人工智能技术来帮助宇航员应对太空环境的挑战。从脑机接口到增强现实设备,这些创新技术旨在提升宇航员的认知能力和工作效率,为未来的月球和火星任务做好准备。同时,人工智能还可能在国际空间站等近期任务中发挥重要作用。