英伟达公司自豪地宣称其为"全球最大的开源AI贡献者",现正通过大幅扩展其开放模型生态系统并启动全球合作计划来加倍投入开放人工智能开发,旨在构建下一代前沿AI系统。
该公司今天推出了覆盖多个垂直市场领域的新模型,并公布了与AI实验室和开发者合作构建开放基础模型的一系列合作伙伴关系。
这些在英伟达圣何塞全球技术大会上宣布的举措,反映了该公司日益努力将开放模型定位为AI经济的核心层。据麻省理工学院研究人员统计,开放模型仅占所有模型使用量的20%,但在生产中的平均成本却低87%。
超越聊天功能
此次宣布的核心是英伟达Nemotron模型家族的扩展,该家族支持新兴一代能够执行复杂任务而非仅仅回答问题的AI智能体。
新的Nemotron 3系列包括集成语言、视觉和语音能力的多模态模型。英伟达表示,这些模型旨在支持自然对话、复杂推理以及从多种形式数据中提取洞察的能力。
新产品中包括Nemotron 3 Ultra,英伟达称其在使用专为Blackwell平台开发的NVFP4浮点格式时,能够提供前沿级性能并实现五倍更高的吞吐效率。该模型专为AI原生应用设计,如编程助手、企业搜索和自动化工作流程。
"它完全在NVFP4中进行预训练,是最智能的模型,最大吞吐量是当前最佳开放基础模型的两倍,"英伟达生成式AI软件高级副总裁Kari Briski表示。
其他模型包括Nemotron 3 Omni,它结合音频、视觉和语言理解,使AI系统能够同时解释文档和视频;以及Nemotron 3 VoiceChat,用于实时对话交互,将语音识别、大语言模型处理和文本转语音功能整合到单一系统中。
为了提高可靠性,英伟达还推出了Nemotron安全模型和智能体检索管道,旨在检测不安全内容并提高多模态环境中的响应准确性。
英伟达表示,越来越多的企业软件公司生态系统已经在采用这些模型。Automation Anywhere、CodeRabbit、CrowdStrike、AnySphere、Distyl AI、旧金山AI工厂、Genspark、Perplexity AI和ServiceNow等公司正在部署Nemotron模型来驱动AI应用。LangChain也已将这些模型集成到其智能体开发框架中。
英伟达还将其开放模型策略扩展到机器人技术和自主系统领域,推出三个新产品。Cosmos 3是一个基础模型,旨在模拟复杂环境并为机器人和自主机器提供物理推理支持。
Isaac GR00T N1.7是用于人形机器人的视觉-语言-动作模型。Alpamayo 1.5改进了自主车辆的推理和导航能力。英伟达表示,包括HCL Technologies、强生医疗技术、Milestone Systems和丰田研究院在内的组织已经在使用Cosmos,而LG电子、Neur Robotics和Noble Machines正在采用GR00T来扩大人形机器人部署。
科学发现
在医疗保健和生命科学领域,BioNeMo平台提供用于建模生物系统的AI工具。一个名为Proteina-Complexa的新生成模型旨在通过生成能够附着到目标分子的蛋白质结合物来加速药物发现。
英伟达还与谷歌DeepMind、欧洲分子生物学实验室的欧洲生物信息学研究所以及首尔国立大学合作,通过数千万预测的蛋白质复合物结构扩展AlphaFold蛋白质结构数据库。
该公司表示,这些额外数据有望帮助研究人员识别新的药物靶点并更好地理解疾病生物学。
相关举措中,英伟达宣布成立Nemotron联盟,这是一个旨在通过共享专业知识、数据集和计算基础设施来推进开放前沿模型的合作伙伴关系。
"构建前沿模型需要大量时间、专业知识和计算资源,这对大多数组织来说是一项无法单独承担的重大投资,"Briski说。"这就是我们启动Nemotron联盟的原因。"
初始成员包括Black Forest Labs、AnySphere、LangChain、Mistral AI、Perplexity、Reflection AI、Axonwise和Thinking Machines Lab。
该联盟的首个项目将是由英伟达和Mistral AI共同开发的新开放基础模型,在英伟达的DGX Cloud基础设施上训练。预计该模型将发布到开放生态系统中,并作为即将推出的Nemotron 4模型家族的基础。
Q&A
Q1:Nemotron 3模型家族有哪些新功能?
A:Nemotron 3系列包括多模态模型,集成了语言、视觉和语音能力。其中Nemotron 3 Ultra能提供前沿级性能并实现五倍更高的吞吐效率;Nemotron 3 Omni结合音频、视觉和语言理解;Nemotron 3 VoiceChat则专为实时对话交互设计。
Q2:Nemotron联盟是什么?成立的目的是什么?
A:Nemotron联盟是英伟达发起的合作伙伴关系,旨在通过共享专业知识、数据集和计算基础设施来推进开放前沿模型发展。因为构建前沿模型需要大量时间、专业知识和计算资源,大多数组织无法单独承担这项重大投资。
Q3:英伟达在机器人和自主系统领域推出了哪些新模型?
A:英伟达推出了三个新产品:Cosmos 3用于模拟复杂环境并为机器人提供物理推理支持;Isaac GR00T N1.7是用于人形机器人的视觉-语言-动作模型;Alpamayo 1.5改进了自主车辆的推理和导航能力。
好文章,需要你的鼓励
FORTIS是专门测量AI代理"越权行为"的基准测试,研究发现十款顶尖模型普遍选择远超任务需要的高权限技能,端到端成功率最高仅14.3%。
谷歌在Android Show发布会上宣布,将Gemini更深度整合至Android系统,推出名为"Gemini Intelligence"的升级功能。该功能可跨应用处理日常任务,包括自动填写表单、安排日程、生成购物清单及自定义小组件等,无需用户频繁切换应用。此外,Gboard新增"Rambler"功能,可自动过滤语音输入中的口误和填充词。Gemini Intelligence将率先登陆三星Galaxy和谷歌Pixel手机,并支持Android Auto、Wear OS及智能眼镜。
荷兰Nebius团队提出SlimSpec,通过低秩分解压缩草稿模型LM-Head的内部表示而非裁剪词汇,在保留完整词汇表的同时将LM-Head计算时间压缩至原来的五分之一,端到端推理速度超越现有方法最高达9%。