随着AI智能体的不断成熟,其能力已从简单回答问题,演进为自主执行多步骤的复杂任务。但在这些智能体真正获得用户信任、被委以订购行程或进行金融分析等任务之前,模型提供商和相关创业公司必须确保它们能在各类场景下稳定可靠地运行。
AI实验室通常借助基准测试来展示模型实力,但即便在面向智能体的专项测试中取得高分,也并不能真正证明某个AI能在现实世界中准确完成各种复杂任务。
Patronus AI是一家成立于2023年的初创公司,由前Meta AI研究员Anand Kannappan与Rebecca Qian联合创立。该公司通过构建模拟数字环境来评估智能体的实际表现,帮助模型开发商和企业对模型进行精细调优。
这家总部位于旧金山的公司,显然正在解决一个关键问题。Notable Capital董事总经理Glenn Solomon表示,目前几乎所有前沿AI实验室以及众多新兴创业公司都已成为其客户,市场对该公司模拟环境的需求近乎旺盛。
过去一年间,Patronus的营收增长了15倍,吸引了大量投资者的关注。本周四,该公司宣布完成由Greenfield Partners领投的5000万美元B轮融资,Notable Capital、Lightspeed、Datadog和三星参与跟投。至此,公司累计融资总额已达7000万美元。
Patronus采用其自主研发的"数字世界模型",为网站和内部系统创建数字孪生环境。在这些环境中,智能体经过训练后将接受强化学习的压力测试——系统会对成功完成任务的行为给予奖励,对错误行为进行惩罚,形成迭代优化机制。
AI实验室高度重视这类数字模拟环境,因为它能让智能体在各种不可预测的场景中反复试验。Patronus将自身方法类比于Waymo训练自动驾驶汽车的方式——先构建合成虚拟世界,让车辆在极端天气或儿童突然冲出等罕见危险场景中接受测试。
而AI智能体面临的特殊挑战在于,它们往往倾向于"走捷径",导致任务无法正确完成。Glenn Solomon表示:"Patronus非常擅长识别这些取巧行为,并确保模型始终受到有效约束。"
目前,Patronus已将其模拟数字世界应用于软件工程和金融领域,但据Kannappan介绍,这仅仅是个开始。
"我们目前专注于可验证的问题,也就是那些能够即时检验和核查的任务,但还有大量领域的问题难以验证,甚至根本无法验证。"他说道。
即便是可验证的流程,也并不意味着简单易行。Kannappan表示:"我们希望真正打造出这样一个环境——智能体可以在其中持续运行10小时、10天乃至10周。"
在竞争格局方面,Patronus认为自己主要的竞争对手是AI实验室内部已组建的智能体评估团队。虽然Mercor、Surge等人工数据公司也在协助模型开发商进行强化学习,但Patronus的差异化在于:其评估智能体行为的整个过程完全不依赖人工介入。
Q&A
Q1:Patronus AI构建的"数字世界模型"具体是什么?
A:Patronus AI的"数字世界模型"是对真实网站和企业内部系统的数字化复刻环境。在这些模拟环境中,AI智能体会被部署执行各类任务,并通过强化学习进行迭代训练——系统对成功完成任务的行为给予奖励,对错误行为进行惩罚。这种方式类似于Waymo用合成虚拟世界训练自动驾驶汽车,可以让智能体在可控环境中应对各种不可预测的场景。
Q2:Patronus AI的评估方式与其他公司有什么不同?
A:与Mercor、Surge等依赖人工标注数据来辅助强化学习的公司不同,Patronus AI的评估过程完全不需要人工参与。它通过模拟数字环境自动检测智能体的行为,尤其擅长识别智能体"走捷径"的问题,确保模型在执行任务时真正达到预期目标,而非仅仅在表面上通过测试。
Q3:Patronus AI目前主要应用在哪些领域?
A:目前,Patronus AI的模拟数字世界主要应用于软件工程和金融两个领域。不过,公司联合创始人Kannappan表示,这只是起步阶段,未来还将拓展至更多难以验证的复杂任务领域,并致力于构建能够支持智能体持续运行数小时乃至数周的长周期评估环境。
好文章,需要你的鼓励
牛津大学提出PHYSIFORMER,一种扩散变换器模型,通过三维网格顶点轨迹直接在世界坐标空间预测刚性与弹性物体的物理运动,一次性生成全序列轨迹,超越自回归基线。
随着医疗数据数字化与互操作性的进步,跨机构纵向患者数据的研究应用成为可能。本研究通过对20位领域专家的访谈,识别出8种数据收集方法,涵盖智能手机应用、结构化数据导出、区域/全国研究查询及聚合数据源等。研究发现,各方法均有其优缺点,无单一最优方案。参与者中介交换方式可绕过复杂治理安排,但存在数据缺口;全国性网络尚不支持研究查询。公共政策的持续推进将对该领域发展起关键作用。
研究发现主流奖励模型对同等质量答案给出差异悬殊的分数,并提出"奖励聚类"算法通过蒙特卡洛随机失活将连续分数离散化,在不重训模型的前提下有效减少AI训练中的奖励作弊现象。