企业AI服务的编排框架承担着多重功能。它们不仅规定了应用程序或智能体如何协同工作,还应允许管理员管理工作流程和智能体,并对系统进行审计。
随着企业开始扩展AI服务并将其投入生产,构建可管理、可追踪、可审计且稳健的管道,确保智能体完全按预期运行至关重要。如果缺乏这些控制措施,组织可能无法了解AI系统中发生的情况,只有在出现问题或违反法规时才会发现问题,届时为时已晚。
企业编排公司Airia的总裁Kevin Kiley在接受VentureBeat采访时表示,框架必须包含可审计性和可追溯性。
"拥有这种可观测性并能够回顾审计日志,显示在什么时间点提供了什么信息,这一点至关重要,"Kiley说。"你必须知道这是恶意行为者、不知道自己在分享信息的内部员工,还是系统出现了幻觉。你需要有这样的记录。"
理想情况下,稳健性和审计追踪应该在AI系统的早期阶段就内置其中。在部署前了解新AI应用程序或智能体的潜在风险,并确保它们持续符合标准,有助于缓解将AI投入生产的担忧。
然而,组织最初在设计系统时并未考虑可追溯性和可审计性。许多AI试点项目开始时都是实验性的,没有编排层或审计追踪。
企业现在面临的重大问题是如何管理所有智能体和应用程序,确保管道保持稳健,当出现问题时能够知道出了什么问题并监控AI性能。
选择合适的方法
专家表示,在构建任何AI应用程序之前,组织需要先清点其数据。如果公司知道允许AI系统访问哪些数据,以及用哪些数据对模型进行了微调,他们就有了比较长期性能的基准。
DataDog产品副总裁Yrieix Garnier在接受VentureBeat采访时说:"当你运行这些AI系统时,更多的是关于我可以验证什么样的数据来确保我的系统实际运行正常。这实际上很难做到,要理解我有正确的参考系统来验证AI解决方案。"
一旦组织识别并定位其数据,就需要建立数据集版本控制——本质上是分配时间戳或版本号——以使实验可重现并了解模型发生了什么变化。这些数据集和模型、使用这些特定模型或智能体的任何应用程序、授权用户和基准运行时数据都可以加载到编排或可观测性平台中。
就像选择构建基础模型时一样,编排团队需要考虑透明度和开放性。虽然一些闭源编排系统具有众多优势,但更多开源平台也可能提供一些企业重视的好处,比如提高决策系统的可见性。
MLFlow、LangChain和Grafana等开源平台为智能体和模型提供精细和灵活的指令和监控。企业可以选择通过单一的端到端平台(如DataDog)开发其AI管道,或使用AWS的各种互连工具。
企业的另一个考虑因素是接入将智能体和应用程序响应映射到合规工具或负责任AI政策的系统。AWS和微软都提供跟踪AI工具以及它们与用户设置的防护栏和其他政策的遵循程度的服务。
Kiley表示,企业在构建这些可靠管道时的一个考虑因素是选择更透明的系统。对于Kiley来说,完全看不到AI系统如何工作是行不通的。
"无论用例或行业是什么,你都会遇到需要灵活性的情况,而封闭系统是行不通的。市场上有一些提供商拥有出色的工具,但那更像是一个黑盒子。我不知道它是如何得出这些决定的。我无法在我可能想要的时候进行拦截或干预,"他说。
好文章,需要你的鼓励
AI技术的最新应用展示了其在日常办公场景中的强大能力。用户现在可以通过简单的截图操作,让AI智能识别和提取图像中的时间、地点、事件等关键信息,并自动创建相应的日历事件。这种功能大大简化了日程管理流程,提高了工作效率,代表了AI技术在实用性和智能化方面的重要突破。
杭州电子科技大学研究团队开发出CRISP-SAM2智能医学影像分析系统,能够结合文字描述和CT图像同时进行器官识别。该系统通过跨模态语义交互技术,无需医生手动提示即可精准分割18种人体器官,在七个数据集测试中表现优异,为医学影像诊断提供了新的AI解决方案。
最新调查显示,91%的AI用户都有首选的聊天机器人工具。其中ChatGPT以28%的占比位居榜首,其次是谷歌Gemini(23%)、Meta AI和亚马逊Alexa(各18%)、苹果Siri(16%)。用户主要将这些AI工具用于撰写邮件、研究感兴趣话题和管理待办事项。报告指出,61%的美国人在过去半年内使用过AI,19%的人每天都在使用。
伊利诺伊大学研究团队开发了HalluSegBench评估系统,首次系统性揭示AI视觉分割模型的"幻觉"问题。通过创建1340对对比图像和四种新评估指标,研究发现当前先进AI模型普遍存在错误识别不存在物体的严重缺陷,且视觉变化比文字变化更容易引发幻觉。该研究为提升AI系统可靠性提供了重要工具和理论基础。