英伟达周一宣布推出新的基础设施和AI模型,旨在构建物理AI的核心技术,包括能够感知并与现实世界交互的机器人和自动驾驶车辆。
这家半导体巨头在加利福尼亚州圣地亚哥举行的NeurIPS AI会议上发布了Alpamayo-R1,这是一个面向自动驾驶研究的开源推理视觉语言模型。该公司声称这是首个专注于自动驾驶的视觉语言动作模型。视觉语言模型能够同时处理文本和图像,使车辆能够"看到"周围环境并根据所感知的内容做出决策。
这个新模型基于英伟达的Cosmos Reason模型,这是一个在响应前会思考决策的推理模型。英伟达最初在2025年1月发布了Cosmos模型系列,并在8月发布了额外的模型。
英伟达在博客文章中表示,像Alpamayo-R1这样的技术对于希望达到4级自动驾驶的公司至关重要,4级自动驾驶意味着在特定区域和特定环境下的完全自主。
英伟达希望这种推理模型能够为自动驾驶车辆提供"常识",使其能够更好地处理像人类一样的细致驾驶决策。
这个新模型已在GitHub和Hugging Face上提供。
除了新的视觉模型外,英伟达还在GitHub上上传了新的分步指南、推理资源和训练后工作流程,统称为Cosmos Cookbook,帮助开发者更好地使用和训练Cosmos模型以适应其特定用例。该指南涵盖数据策划、合成数据生成和模型评估。
这些公告发布之际,该公司正全力推进物理AI,将其作为先进AI GPU的新发展方向。
英伟达联合创始人兼首席执行官黄仁勋多次表示,AI的下一波浪潮是物理AI。英伟达首席科学家Bill Dally在夏季与TechCrunch的对话中也呼应了这一观点,强调了机器人技术中的物理AI。
"我认为机器人最终会成为世界的重要参与者,我们希望基本上为所有机器人制造大脑,"Dally当时说道。"要做到这一点,我们需要开始开发关键技术。"
Q&A
Q1:Alpamayo-R1是什么?有什么特殊功能?
A:Alpamayo-R1是英伟达发布的开源推理视觉语言模型,专门用于自动驾驶研究。它是首个专注于自动驾驶的视觉语言动作模型,能够同时处理文本和图像,使车辆能够"看到"周围环境并根据所感知的内容做出决策。
Q2:什么是4级自动驾驶?为什么这个模型对它重要?
A:4级自动驾驶意味着在特定区域和特定环境下的完全自主驾驶。Alpamayo-R1这样的推理模型对达到4级自动驾驶至关重要,因为它能为自动驾驶车辆提供"常识",使其能够更好地处理像人类一样的细致驾驶决策。
Q3:开发者如何获取和使用这个模型?
A:Alpamayo-R1模型已在GitHub和Hugging Face上开源提供。此外,英伟达还在GitHub上传了Cosmos Cookbook,包含分步指南、推理资源和训练后工作流程,帮助开发者更好地使用和训练Cosmos模型以适应其特定用例。
好文章,需要你的鼓励
英国国家医疗服务(NHS)正将无人机纳入常规医疗物流体系。自今年2月起,无人机每天在雷恩斯公园和圣乔治医院之间运送血液等诊断样本,飞行仅需3分钟,比公路运输快约85%,且碳排放减少高达98%。目前已有逾2000名患者受益。NHS计划将该服务扩展至圣赫利尔、克罗伊登等多家医院,最终惠及约180万名患者。该网络由英国医疗初创公司Apian与谷歌旗下Wing合作运营。
AgentLens是Explyt公司联合俄罗斯学术机构开发的AI编程助手评测基准,通过分析完整人机交互轨迹而非仅看最终结果,从五个维度评估代码智能体的真实表现。
边缘AI计算厂商Aetina宣布,将在其DeviceEdge AIE-KT风冷系列和新款AIE-PT无风扇平台上支持英伟达全新Jetson T3000和T2000模块。T3000基于Blackwell GPU,最高提供865 FP4 TFLOPS算力,功耗70W;T2000则提供400 FP4 TFLOPS,面向视觉AI代理和自主移动机器人等场景。两款模块预计2027年第一季度上市,支持Nemotron、Cosmos 3等英伟达AI软件生态。
韩国梨花女子大学提出Splash框架,通过识别AI模型中的"休眠参数"并只在其中训练触觉能力,让小型多模态AI在学会感知材质触感的同时,完整保留原有视觉语言推理能力。