AWS神经符号AI有望解决监管行业智能体安全问题

AWS正在依靠Bedrock平台上的自动推理检查功能全面上线这一事实，相信这将为更多企业和监管行业部署AI应用和智能体提供信心。

该公司还希望通过引入自动推理等方法来帮助企业进入神经符号AI的世界。自动推理利用基于数学的验证来确定基本事实，AWS认为这将是AI领域的下一个重大进步，也是其最大的差异化优势。

自动推理检查使企业用户能够验证响应的准确性并检测模型幻觉。AWS在12月份的年度re:Invent大会上发布了Bedrock上的自动推理检查功能，声称可以捕获几乎100%的所有幻觉。有限数量的用户可以通过Amazon Bedrock Guardrails访问该功能，组织可以在其中设置负责任的AI政策。

AWS自动推理组的杰出科学家兼副总裁Byron Cook在接受VentureBeat采访时表示，预览推出证明了这样的系统在企业环境中是有效的，它帮助组织理解能够将符号或结构化思维与生成式AI的神经网络特性相结合的AI的价值。

Cook说："有一个神经符号AI的概念，这是你可能称之为自动推理的称谓。人们对神经符号AI兴趣的上升使得人们在使用工具时意识到这项工作的重要性。"

Cook说，一些客户允许AWS审查他们的数据和用于注释答案正确性的文档，发现该工具生成的工作表现与手头有规则手册的人类相似。他补充说，真实或正确的概念往往可能受到解释的影响，而自动推理没有完全相同的问题。

"这真的很令人惊讶！令人惊讶的是，在内部沟通渠道中，具有逻辑背景的人们争论什么是真实的，在五六条消息中指向工具并意识到'哦，它是对的'，"他说。

AWS为自动推理检查的全面发布添加了新功能，包括：

- 支持添加高达8万Token或100页的大型文档

- 通过保存验证测试以便重复运行来简化政策验证

- 从预保存定义自动生成场景

- 政策反馈的自然语言建议

- 可定制的验证设置

Cook说，自动推理检查通过证明模型没有产生虚假解决方案或响应来验证AI系统中的真实性或正确性。这意味着它可以为担心生成式AI的非确定性特性可能返回错误响应的监管机构和受监管企业提供更多信心。

自动推理通过对查询响应的模型应用数学证明来工作。它采用一种称为可满足性模理论的方法，其中符号具有预定义的含义，并解决涉及逻辑（如果、那么、和、或）和数学的问题。自动推理采用该方法并将其应用于模型的响应，并根据一组政策或基本事实数据检查它，而无需多次测试答案。

例如，在企业设置中，他们想证明财务审计是正确的。模型响应报告包含未批准的付款。自动推理检查将其分解为逻辑字符串，然后进入用户在Bedrock Guardrails上设置的定义、变量和类型，并求解方程式以证明模型正确响应并基于真实。

Cook说，智能体用例可以从自动推理检查中受益，通过Bedrock提供对该功能的更多访问可以证明其有用性。但他警告说，自动推理和其他神经符号AI技术仍处于非常早期的阶段。

"我认为它将对智能体AI产生影响，当然，智能体工作现在非常具有投机性，"Cook说。"有几种类似的技术可以发现陈述中的歧义，然后找到可能翻译之间的关键差异，然后回到你身边并对此进行改进，我认为这将是客户在几年前开始使用生成式AI时经历的情感旅程的关键。"

Q&A

Q1：AWS的自动推理检查功能有什么作用？

A：自动推理检查功能能够验证AI响应的准确性并检测模型幻觉。AWS宣称该功能可以捕获几乎100%的所有幻觉，通过应用数学证明来验证模型响应的真实性和正确性，为企业提供更可靠的AI应用部署信心。

Q2：什么是神经符号AI？为什么重要？

A：神经符号AI是指将大语言模型使用的神经网络与符号AI的结构化思维和逻辑相结合的技术。神经网络从数据中识别模式，而符号AI使用明确的规则和逻辑问题。这种结合可以减少AI幻觉问题，被认为是AI领域的下一个重大进步。

Q3：自动推理检查如何帮助监管行业使用AI？

A：自动推理检查通过数学验证确定基本事实，为担心生成式AI非确定性特性可能返回错误响应的监管机构和受监管企业提供更多信心。它能够证明模型没有产生虚假解决方案，使监管行业能够更安全地部署AI应用和智能体。