英伟达在周一发布了一系列新的世界AI模型、库和其他面向机器人开发者的基础设施,其中最引人注目的是Cosmos Reason,这是一个拥有70亿参数的"推理"视觉语言模型,专门用于物理AI应用和机器人。
除了现有的Cosmos世界模型批次外,新加入的还有Cosmos Transfer-2,它可以加速从3D仿真场景或空间控制输入生成合成数据,以及一个经过蒸馏优化的Cosmos Transfers版本,更注重速度优化。
在周一SIGGRAPH会议的发布会上,英伟达指出,这些模型旨在用于创建合成文本、图像和视频数据集,以训练机器人和AI智能体。
据英伟达介绍,Cosmos Reason凭借其记忆和物理理解能力,让机器人和AI智能体能够进行"推理",使其能够"作为规划模型来推理具身智能体可能采取的下一步行动"。该公司表示,它可用于数据整理、机器人规划和视频分析。
该公司还发布了新的神经重建库,其中包括一种渲染技术,让开发者能够使用传感器数据在3D环境中模拟真实世界。这种渲染能力也正在集成到开源模拟器CARLA中,这是一个受欢迎的开发者平台。Omniverse软件开发套件也获得了更新。
机器人工作流程也有新的服务器支持。英伟达RTX Pro Blackwell服务器为机器人开发工作负载提供单一架构,而英伟达DGX Cloud则是基于云的管理平台。
这些发布正值这家半导体巨头进一步进军机器人领域,寻求其AI GPU在AI数据中心之外的下一个重大应用场景。
Q&A
Q1:Cosmos Reason是什么?它有什么功能?
A:Cosmos Reason是英伟达发布的一个拥有70亿参数的"推理"视觉语言模型,专门用于物理AI应用和机器人。它凭借记忆和物理理解能力,让机器人和AI智能体能够进行推理,作为规划模型来推理具身智能体可能采取的下一步行动,可用于数据整理、机器人规划和视频分析。
Q2:Cosmos Transfer-2有什么特点?
A:Cosmos Transfer-2是英伟达新发布的世界模型之一,它的主要特点是能够加速从3D仿真场景或空间控制输入生成合成数据。此外,还有一个经过蒸馏优化的Cosmos Transfers版本,更注重速度优化。
Q3:英伟达为什么要进军机器人领域?
A:英伟达进军机器人领域是因为该公司正在寻求其AI GPU在AI数据中心之外的下一个重大应用场景。作为半导体巨头,英伟达希望通过提供机器人开发的基础设施和AI模型,拓展其GPU技术的应用范围。
好文章,需要你的鼓励
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
在Cloudera的“价值观”中,企业智能化的根基可以被概括为两个字:“源”与“治”——让数据有源,智能可治。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。