Nvidia 推出面向智能代理 AI 的新型防护微服务

Nvidia 今天为其 Nvidia NeMo Guardrails 软件工具新增了用于 AI 防护的 Nvidia 推理微服务 (NIMs)。这些新的微服务旨在帮助企业提高智能代理 AI 应用的准确性、安全性和控制力，解决了 IT 领导者在采用该技术时的主要顾虑。

"目前已有十分之一的组织正在使用 AI 代理，超过 80% 的组织计划在未来三年内采用 AI 代理，" Nvidia 企业 AI 模型、软件和服务副总裁 Kari Briski 在周三的新闻发布会上表示。"这意味着你不仅要构建能准确完成任务的代理，还必须评估 AI 代理是否满足安全性、数据隐私和治理要求，这可能成为部署的主要障碍。"

Briski 解释说，除了信任、安全和合规性之外，成功部署 AI 代理还需要确保其性能。它们必须在保持快速响应的同时，维持与终端用户和其他 AI 代理交互时的准确性。为此，Nvidia 今天推出了三个新的 NeMo Guardrails NIMs，用于内容安全、话题控制和越狱检测。

内容安全 NIM 旨在防止 AI 产生偏见或有害输出，确保生成式 AI 的响应符合道德标准。它基于 Nvidia 的开源 Aegis 内容安全数据集进行训练，该数据集包含 35,000 个经人工标注的 AI 安全标记样本。Aegis 用于教导 AI 如何审核其他 AI 模型生成的潜在有害内容。

话题控制 NIM 使 AI 代理保持专注于已批准的话题，防止其偏离主题或涉及不当内容。例如，它可以防止 AI 代理讨论竞争对手的产品。

越狱检测 NIM 通过防止试图绕过智能代理 AI 安全防护的"越狱"行为，帮助在"对抗场景"中维护 AI 的完整性。它基于 Nvidia Garak 构建，这是一个开源的漏洞扫描工具包，使用 17,000 个已知越狱案例进行训练。

通过防护实现更好的治理

NeMo Guardrails 是 NeMo 平台的一部分，这是一个用于定义、编排和执行 AI 代理及其他生成式 AI 应用模型策略的可扩展平台。

"防护机制通过对 AI 模型、代理和系统执行规范，帮助维护 AI 运营的可信度和可靠性，"Briski 说。"它有助于保持 AI 代理的正常运行。"

例如，这些新的微服务可以帮助汽车制造商创建用于车辆操作的 AI 代理，协助用户控制空调、调节座椅、娱乐信息、导航等功能。制造商可以使用这些微服务来指定禁止的话题，如其他汽车品牌或提供背书和意见。

NeMo Guardrails 利用小型语言模型 (SLMs)，其延迟低于大语言模型，这意味着它们可以在资源受限或分布式环境中高效运行。Briski 指出，这些模型非常适合在医疗保健、汽车和制造业等行业扩展 AI 应用。一些 CIO 已经开始转向 SLMs 寻求专用解决方案，将其作为更通用的大语言模型的替代方案。

虽然可以使用默认配置的 NeMo Guardrails，但 Briski 表示其真正的力量在于定制和扩展防护功能。

"使用多个可定制的防护机制很重要，因为没有一种方案能适用于所有场景，"她说。"不同用例、品牌、公司准则，甚至基于行业和地理位置的不同监管要求都有各自的政策和要求。开发人员希望能够为其特定需求和不同智能代理 AI 系统的各种要求选择合适的防护机制。"

Briski 表示，IT 部门现在将成为"代理的人力资源部门"，这正是新的微服务发挥作用的地方，允许开发人员应用多个轻量级的专用模型作为防护措施，以填补仅依靠更通用的全局策略和保护时可能出现的空白。

这些新的微服务，以及用于防护编排的 NeMo Guardrails 和 Nvidia Garak 工具包，现在都已向开发人员和企业开放使用。