Nvidia 公司今天宣布发布新的 Nvidia 推理微服务 (Nvidia Inference Microservices),旨在帮助企业组织开发人工智能代理,以解决信任、安全和安全性问题。
AI 代理是一项正在蓬勃发展的技术,它正在彻底改变人们与计算机的交互方式,但同时也带来了几个关键问题。目前,主动式 AI 正在改变知识型员工完成任务的方式以及客户与品牌"对话"的方式,但底层的大语言模型仍可能出现偏差,产生不必要的响应,或者在恶意用户突破其安全防护时造成安全隐患。
Nvidia NIM 是一组容器化微服务,旨在加速生成式 AI 模型的部署。今天的公告是对 NeMo Guardrails 的扩展,后者是一个面向开发者的保护框架,用于管理 AI 模型,使其能够构建更安全、更可信的 AI 代理。
Nvidia 发布了三个 NIM 微服务,涵盖主题控制、内容安全和越狱保护。这些微服务是经过高度优化的小型轻量级 AI 模型,用于调节大型模型的响应,以提高应用程序性能。
Nvidia 企业 AI 模型、软件和服务副总裁 Kari Briski 表示:"新微服务之一是为调节内容安全而构建的,它使用 Aegis 内容安全数据集进行训练,这是该类别中最高质量的人工标注数据源之一。"
该数据由 Nvidia 负责管理,包含超过 35,000 个人工标注的数据样本,用于标记 AI 安全性和绕过系统限制的越狱尝试。该数据集将于今年晚些时候在 Hugging Face 上公开。
例如,主题控制 NIM 有助于防止代理变得过于"健谈"或偏离其原始任务,使其保持在主题上。与 AI 聊天机器人的对话越长,它就越有可能忘记聊天的原始意图,对话可能开始偏离主题,这类似于人类对话的特点。虽然这对人来说可以接受,但对聊天机器人来说却是个问题,特别是对于可能开始谈论著名摇滚明星或竞争产品的品牌 AI 代理来说。
Briski 说:"像 NeMo Guardrails 集合中的小型语言模型这样的模型具有更低的延迟,即使在资源受限或分布式环境中也能高效运行。这使它们非常适合在医疗保健、汽车和制造业等行业中扩展 AI 应用,比如在医院或仓库等场所。"
NIM 方法允许开发人员在最小额外延迟的情况下叠加多个保护措施。这对于大多数生成式 AI 应用程序来说非常重要,因为客户不喜欢在等待文本出现或语音开始说话时看到三个点闪烁或圆圈旋转。
Lowe's 公司数据、AI 和创新高级副总裁 Chandhu Nair 表示:"我们一直在寻找帮助员工为客户提供更好服务的方法。"这家家居装修零售商与 Nvidia 合作,使用 AI 协助客户和员工。"通过最近部署的 Nvidia NeMo Guardrails,我们确保 AI 生成的响应是安全、可靠的,并强制执行对话边界,只提供相关和适当的内容。"
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。