AI智能体承诺"运营企业"，但出错时谁来承担责任？

当AI智能体现在承诺"主动运营业务"时，任何寻求解释谁可能对这些统计机器的输出承担责任的人，都可能会得出这样的结论：当AI智能体被认为代表组织运作时，决策风险变得模糊且不可预测。这也标志着具有未知参数的AI风险重新分配。

风险巨大。最大的企业应用提供商现在正在讨论使用AI智能体来自动化人力资源、财务和供应链管理中的决策。大语言模型在绩效总结中的幻觉、不正确的监管文件以及关键供应品的交付失败，都是将决策权交给AI的企业面临的风险。

虽然科技供应商看到了AI万亿美元的机遇，但如果出现问题，谁来承担责任呢？

品诚梅森律师事务所高级技术律师马尔科姆·道顿表示："有一个历史假设，即如果事情出错，供应商将承担责任。这是几乎所有这些讨论的起点。"

考虑到供应商的声明，用户对AI抱有很高的期望可能是可以理解的。甲骨文在宣布扩展其融合应用程序AI智能体工作室时表示，该技术将"能够推理、跨业务系统采取行动并持续执行流程"，使其软件能够"积极运营业务，具备企业所需的治理、信任和安全性"。

然而，从法律角度来看，供应商可能有不同的看法。

道顿说："如果你想到一个正常的工具或系统，它的行为是可预测的，因此保证的给予者可以对承担多少责任有相当清楚的认识。AI则不同。我们越是深入到过去被称为非确定性AI的范畴——主要是属于智能体AI类别的东西——就越为意外行为提供更大的空间。从供应商的角度来看，如果你对某个本质上不可预测的东西的行为给出保证，这是一个很大的担忧，因为这使得它成为一个非常不舒服的合同承诺。"

考虑到风险和他们预期承担的责任，使用这些系统的企业可能也会感到担忧。

例如，本周在英国，财务报告委员会（FRC）在其AI采用指导中表达得非常清楚。

"虽然技术在变化，但我们监管框架的基本原则没有改变：是人员——公司和负责个人——对审计质量负责。"

或者正如FRC执行董事马克·巴宾顿对《金融时报》所说："你不能把责任推给机器。如果你使用这项技术，你仍然要为此承担责任。"

尽管如此，技术买家至少可以尝试通过合同条款让供应商承担责任。

例如，使用AI筛选求职申请的用户应该意识到，他们可能会因为这是自动化决策而受到数据保护法的质疑。英国的执法机构信息专员办公室最近表示，它支持自动化，只要用户监控偏见，对求职者保持透明并解释他们的追索权。

道顿说，在训练模型偏见等问题上，用户组织将承担责任，因为他们是英国法律下的数据控制者。"然后他们会通过关于解释AI如何工作的合同条款，或确保没有固有偏见的合同义务，将这种责任转嫁给供应商。"

然而，他说，供应商很可能会反对偏见必须在模型本身中的直接断言。他们会希望查看模型、算法和用户提示之间的交互。

"我们在协商保证方面看到的是，系统已经接受了偏见测试的承诺，测试将定期更新，模型将被校准，但如果偏见可以追溯到提示的创建和制定方式，则不承担责任。双方本质上都在寻求确立对方为责任方。这就是谈判倾向于关注的地方，"道顿说。

Gartner预测，到2026年中期，新的非法AI决策类别将在全球AI供应商和利用AI的企业中产生超过100亿美元的补救成本。Gartner副总裁分析师莉迪亚·克劳格蒂·琼斯表示，AI智能体的决策可能将AI责任提升到一个新水平。

"当AI智能体被认为代表组织运作时，决策风险变得模糊且不可预测。这也标志着具有未知参数的AI风险重新分配，"她说。

"未能立即采用可辩护AI、使AI就绪数据'AI决策就绪'并广泛改革机器学习模型可解释性的组织面临投资重大损失、政府调查、民事处罚，在某些情况下还有刑事责任的风险。"

克劳格蒂·琼斯建议用户应该掌握"可辩护AI"的概念。这意味着专注于包括AI决策在内的技术，"能够可靠且重复地经受审查、质疑和检查。"

她说，组织可能希望在从数据到模型到输出的AI整个生命周期中，为基于语言模型的解决方案部署内容和决策防护栏。

上周，Gartner甲骨文首席分析师兼副总裁巴拉吉·阿巴巴图拉表示，在技术方面有很多法律语言来保护供应商。他们不是在法律上承担责任，而是谈论监控、可观察性和审计。

"AI智能体决策和人类决策之间的区别在于这些决策的规模和速度，它们可能迅速级联，"他说。"如果有什么问题，如果没有识别和预防，那么它可能在任何人注意到问题之前就迅速级联。他们正在谈论持续监控以识别异常：我们称之为守护智能体。但围绕责任的问题是所有供应商面临的关键挑战。"

林克莱特律师事务所数字、数据和商法合伙人乔治娜·孔表示，正是错误输出级联而未被注意的风险让供应商担心接受责任。

"放大风险是巨大的，但也很难弄清谁负责，"孔说。"很多现行法律并不特别容易适用，因为它总是假设人类或公司在做某事，但事实并非如此。但你也不能有一个人们创造智能体而不对其负责的世界。归根结底是市场在商业上能承受什么。"

出于这个原因，供应商正在软启动产品，并首先与用户一起测试它们。

孔说，就像本世纪初的社交媒体一样，人们如何部署和响应AI智能体还有待观察。

"当你有像AI这样的东西时，这只是另一个山峰的顶峰，你不知道前面是什么，因为这些智能体可能是意外的，它们可能学到错误的东西。难怪供应商不会为一切承担责任，但他们可以承担责任的是他们遵循的过程和他们实施的保障措施。从盈利能力的角度来看，总会有一个点，对他们来说开发可能承担典型合同责任的智能体将不再有吸引力。"

然而，一些用户乐于继续部署智能体，这样他们就可以保持在市场的前沿或获得流程效率，自己承担风险。孔说，这将取决于行业，例如金融服务和医疗保健在方法上更加保守。

AI投资今年将达到2.52万亿美元，其中大部分来自超大规模厂商、模型构建者和软件公司。他们希望看到投资的良好回报。

任何高级IT经理或主管都会证明供应商承诺以前所未有的速度和规模自动化内部决策的大胆营销声明。但在法律更加明确、案件通过法院之前，让他们对输出承担责任仍然是一个挑战。

主要的应用供应商有机会解释他们在客户实施AI智能体方面接受多少责任。微软和SAP拒绝置评。Workday、Salesforce、ServiceNow和甲骨文没有回应。尽管行业大肆宣传，但将市场声明与法律责任相匹配对他们来说仍然是一个难以解决的问题。

Q&A

Q1：什么是AI智能体？它们在企业中的作用是什么？

A：AI智能体是能够代表组织运作的AI系统，承诺"主动运营业务"。大型企业应用提供商现在讨论使用AI智能体来自动化人力资源、财务和供应链管理中的决策，具备推理、跨业务系统采取行动并持续执行流程的能力。

Q2：AI智能体出错时谁来承担法律责任？

A：目前法律责任分配存在争议。英国财务报告委员会明确表示"不能把责任推给机器"，使用技术的人员和公司仍需承担责任。但供应商认为AI行为不可预测，难以承担保证责任，双方都在合同谈判中寻求确立对方为责任方。

Q3：企业如何降低使用AI智能体的风险？

A：专家建议采用"可辩护AI"概念，部署内容和决策防护栏，实施持续监控以识别异常。企业需要确保AI系统经过偏见测试、定期更新和模型校准，同时建立守护智能体来监控和预防问题的级联传播。