Nvidia 今天为其 Nvidia NeMo Guardrails 软件工具新增了用于 AI 防护的 Nvidia 推理微服务 (NIMs)。这些新的微服务旨在帮助企业提高智能代理 AI 应用的准确性、安全性和控制力,解决了 IT 领导者在采用该技术时的主要顾虑。
"目前已有十分之一的组织正在使用 AI 代理,超过 80% 的组织计划在未来三年内采用 AI 代理," Nvidia 企业 AI 模型、软件和服务副总裁 Kari Briski 在周三的新闻发布会上表示。"这意味着你不仅要构建能准确完成任务的代理,还必须评估 AI 代理是否满足安全性、数据隐私和治理要求,这可能成为部署的主要障碍。"
Briski 解释说,除了信任、安全和合规性之外,成功部署 AI 代理还需要确保其性能。它们必须在保持快速响应的同时,维持与终端用户和其他 AI 代理交互时的准确性。为此,Nvidia 今天推出了三个新的 NeMo Guardrails NIMs,用于内容安全、话题控制和越狱检测。
内容安全 NIM 旨在防止 AI 产生偏见或有害输出,确保生成式 AI 的响应符合道德标准。它基于 Nvidia 的开源 Aegis 内容安全数据集进行训练,该数据集包含 35,000 个经人工标注的 AI 安全标记样本。Aegis 用于教导 AI 如何审核其他 AI 模型生成的潜在有害内容。
话题控制 NIM 使 AI 代理保持专注于已批准的话题,防止其偏离主题或涉及不当内容。例如,它可以防止 AI 代理讨论竞争对手的产品。
越狱检测 NIM 通过防止试图绕过智能代理 AI 安全防护的"越狱"行为,帮助在"对抗场景"中维护 AI 的完整性。它基于 Nvidia Garak 构建,这是一个开源的漏洞扫描工具包,使用 17,000 个已知越狱案例进行训练。
通过防护实现更好的治理
NeMo Guardrails 是 NeMo 平台的一部分,这是一个用于定义、编排和执行 AI 代理及其他生成式 AI 应用模型策略的可扩展平台。
"防护机制通过对 AI 模型、代理和系统执行规范,帮助维护 AI 运营的可信度和可靠性,"Briski 说。"它有助于保持 AI 代理的正常运行。"
例如,这些新的微服务可以帮助汽车制造商创建用于车辆操作的 AI 代理,协助用户控制空调、调节座椅、娱乐信息、导航等功能。制造商可以使用这些微服务来指定禁止的话题,如其他汽车品牌或提供背书和意见。
NeMo Guardrails 利用小型语言模型 (SLMs),其延迟低于大语言模型,这意味着它们可以在资源受限或分布式环境中高效运行。Briski 指出,这些模型非常适合在医疗保健、汽车和制造业等行业扩展 AI 应用。一些 CIO 已经开始转向 SLMs 寻求专用解决方案,将其作为更通用的大语言模型的替代方案。
虽然可以使用默认配置的 NeMo Guardrails,但 Briski 表示其真正的力量在于定制和扩展防护功能。
"使用多个可定制的防护机制很重要,因为没有一种方案能适用于所有场景,"她说。"不同用例、品牌、公司准则,甚至基于行业和地理位置的不同监管要求都有各自的政策和要求。开发人员希望能够为其特定需求和不同智能代理 AI 系统的各种要求选择合适的防护机制。"
Briski 表示,IT 部门现在将成为"代理的人力资源部门",这正是新的微服务发挥作用的地方,允许开发人员应用多个轻量级的专用模型作为防护措施,以填补仅依靠更通用的全局策略和保护时可能出现的空白。
这些新的微服务,以及用于防护编排的 NeMo Guardrails 和 Nvidia Garak 工具包,现在都已向开发人员和企业开放使用。
好文章,需要你的鼓励
从浙江安吉的桌椅,到广东佛山的沙发床垫、河南洛阳的钢制家具,再到福建福州的竹藤制品,中国各大高度专业化的家具产业带,都在不约而同地探索各自的数字化出海路径。
哥伦比亚大学研究团队开发了MathBode动态诊断工具,通过让数学题参数按正弦波变化来测试AI的动态推理能力。研究发现传统静态测试掩盖了AI的重要缺陷:几乎所有模型都表现出低通滤波特征和相位滞后现象,即在处理快速变化时会出现失真和延迟。该方法覆盖五个数学家族的测试,为AI模型选择和部署提供了新的评估维度。
研究人员正探索AI能否预测昏迷患者的医疗意愿,帮助医生做出生死决策。华盛顿大学研究员Ahmad正推进首个AI代理人试点项目,通过分析患者医疗数据预测其偏好。虽然准确率可达三分之二,但专家担心AI无法捕捉患者价值观的复杂性和动态变化。医生强调AI只能作为辅助工具,不应替代人类代理人,因为生死决策依赖具体情境且充满伦理挑战。
这项研究首次发现AI推理模型存在"雪球效应"问题——推理过程中的小错误会逐步放大,导致AI要么给出危险回答,要么过度拒绝正常请求。研究团队提出AdvChain方法,通过训练AI学习"错误-纠正"过程来获得自我纠错能力。实验显示该方法显著提升了AI的安全性和实用性,用1000个样本达到了传统方法15000个样本的效果,为AI安全训练开辟了新方向。