Nvidia 在周二的一篇博客文章中宣布,推出了一套新的 AI 工具,让拥有 RTX 硬件的用户能够更轻松地在本地计算机上运行 AI 模型。
这套名为 Nvidia NIM 微服务的工具,可以让包括最新发布的 50 系列在内的 RTX 显卡用户轻松在其设备上安装 AI,用于文本、图像和代码生成。其他使用场景包括语音处理、PDF 提取和计算机视觉。该工具的目标是让使用变得尽可能简单。如果你拥有一台搭载 RTX 的设备,只需下载所需的 NIM 应用程序并运行即可。例如,如果你想转录课堂讲座,只需下载 parakeet;如果你录制的歌曲人声不清晰,只需下载 studiovoice。这些本地 AI 模型也将支持即将推出的 Nvidia DGX 系列专用 AI 计算机。
在本地运行模型的优势在于从长远来看可以节省成本。当使用 OpenAI 的 ChatGPT 或 Google 的 Gemini 等 AI 服务时,用户在需要付费之前能生成的内容是有限的。对于一般任务,大多数人不会触及这些限制。但在某些使用场景下,成本可能会逐渐累积。本地模型对可生成内容类型的限制较少,而且数据保留在设备上,这对处理敏感材料特别有用。
Nvidia 尚未立即回应记者的置评请求。
Nvidia 是 AI 领域最重要的公司之一。其芯片为包括 OpenAI、Google 和 DeepSeek 在内的新 AI 模型开发提供动力。由于每个主要科技公司都依赖 Nvidia 的硬件来推进 AI 发展,这使得该公司的估值达到了惊人的水平。去年,Nvidia 市值达到了 3 万亿美元。现在已经回落到更"适中"的 2.8 万亿美元。
但通过数千英里外的服务器运行所有 AI 服务也是一个重担。这就是为什么各公司一直在设备上本地实现较小的 AI 功能。例如,iPhone 16 和 Google Pixel 9 可以生成图像、编辑照片或总结文本,而无需咨询云端的 GPU 集群。这使得处理更快更高效。PlayStation 5 Pro 也使用 AI 来提升图像以获得更好的视觉效果和性能,据传任天堂 Switch 2 也将采用类似技术。Nvidia、AMD 和 Qualcomm 等芯片制造商都在致力于开发能够处理更多 AI 任务的硬件,以继续吸引科技巨头的投资。
虽然与 NIM 无关,但 Nvidia 还公布了一些针对游戏玩家的新闻。Nvidia 应用程序中新增了一个名为 Project G-Assist 的实验性 AI 助手。G-Assist 可以更好地帮助你优化应用程序和游戏,允许你运行实时诊断并获取性能优化建议。因此,如果你想在目前公认最美的游戏之一《刺客信条:暗影》中获得最高帧数,G-Assist 可以帮助你。G-Assist 还有一个 Google Gemini 插件,所以如果你对《Apex 英雄》中最适合使用的角色或《暗黑破坏神 4》的游戏技巧有疑问,都可以立即获得答案。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。