自动驾驶汽车以及能够行走、交谈并与我们并肩工作的人形机器人,是 AI 在不久的将来改变世界的两个令人惊叹的方式。
但要想安全有效地运行,这些物理 AI 工具和应用必须能够理解现实世界。
在今年的拉斯维加斯消费电子展上,NVIDIA 刚刚宣布推出其 Cosmos 平台,该平台旨在加速物理 AI 系统的开发。
被称为"机器人领域的 ChatGPT 时刻",Cosmos 能够生成海量合成数据。尽管这些数据是人工创建的,但它们与真实世界足够接近,足以让机器人、自动驾驶汽车和其他物理 AI 算法从中学习。
然而,一些人认为,无论多少合成数据都无法完全模拟机器需要准备应对的所有现实场景。这就是为什么特斯拉花费多年时间,通过其搭载传感器的汽车收集真实世界数据的原因。CEO 埃隆·马斯克在推特上写道:"两种数据可以无限扩展:合成数据存在'是否真实?'的问题,而真实世界的视频则不存在这个问题。"
争论的焦点在于,合成数据缺乏真实世界的混沌不可预测性和复杂性,而这些对于构建全面且安全的 AI 系统至关重要。让我们更详细地探讨这个问题。
合成数据与真实世界数据的对比
在自动驾驶系统中,视觉数据(图像)用于训练算法,决定车辆如何对道路上的不同条件和情况做出反应。这些数据可以通过安装在车辆上的摄像头捕获(真实世界数据),也可以由 AI 算法根据研究真实世界数据所学到的规则生成(合成数据)。
这两种方法都有其优势和劣势。
合成数据的收集通常比真实世界数据更快、更经济。无需实地收集数据,只需由机器生成即可。
这也能带来安全方面的好处。例如,在道路上测试自动驾驶汽车显然存在一定风险,但如果只是模拟行驶,这些风险就可以消除。
此外,情境、环境和许多其他变量都可以自定义,而不必等待理想的数据收集条件在现实世界中出现。例如,研究人员可以模拟罕见的天气事件,在危险场景中测试自动驾驶车辆,或模拟复杂的制造缺陷,而无需承担现实世界的风险或延迟。
生成合成数据还可以减少或消除现实世界中可能存在的隐私和数据保护问题,因为不存在敏感个人数据被意外存储或泄露的风险。
这种情况在收集真实世界数据时可能会发生。例如,自动驾驶汽车的摄像头捕获的车牌号码可能会被关联到车主并用于识别和追踪他们。
正如马斯克指出的,真实世界数据具有不可否认的真实性优势。难以通过合成方式生成的混沌和难以预测的人类行为,更有可能在真实数据中得到体现。
监管也可能是一个问题。AI 相关法律正在快速发展,监管机构可能会出于安全考虑,要求某些模型或应用在特定时期或特定地区必须使用真实世界数据进行训练。
权衡选择
事实上,真实世界数据和合成数据对于训练下一代物理 AI 车辆和机器人都至关重要。
两者都具有独特的优势和挑战,采用混合方法可能是通往成功的最佳途径。
关键在于识别哪种方法最适合特定用例。例如,合成数据可能更适用于处理敏感信息或在危险条件下操作的任务或应用。
而真实世界数据则可能在捕捉动态人类行为或可能遇到混沌不可预见事件的情况下表现更好。
这意味着,采用平衡方法的 AI 项目,由理解合成数据和真实世界数据如何相辅相成而非相互竞争的人员领导,更有可能创造真正的商业价值。
好文章,需要你的鼓励
Anthropic发布SCONE-bench智能合约漏洞利用基准测试,评估AI代理发现和利用区块链智能合约缺陷的能力。研究显示Claude Opus 4.5等模型可从漏洞中获得460万美元收益。测试2849个合约仅需3476美元成本,发现两个零日漏洞并创造3694美元利润。研究表明AI代理利用安全漏洞的能力快速提升,每1.3个月翻倍增长,强调需要主动采用AI防御技术应对AI攻击威胁。
NVIDIA联合多所高校开发的SpaceTools系统通过双重交互强化学习方法,让AI学会协调使用多种视觉工具进行复杂空间推理。该系统在空间理解基准测试中达到最先进性能,并在真实机器人操作中实现86%成功率,代表了AI从单一功能向工具协调专家的重要转变,为未来更智能实用的AI助手奠定基础。
Spotify年度总结功能回归,在去年AI播客功能遭遇批评后,今年重新专注于用户数据深度分析。新版本引入近十项新功能,包括首个实时多人互动体验"Wrapped Party",最多可邀请9位好友比较听歌数据。此外还新增热门歌曲播放次数显示、互动歌曲测验、听歌年龄分析和听歌俱乐部等功能,让年度总结更具互动性和个性化体验。
这项研究解决了现代智能机器人面临的"行动不稳定"问题,开发出名为TACO的决策优化系统。该系统让机器人在执行任务前生成多个候选方案,然后通过伪计数估计器选择最可靠的行动,就像为机器人配备智能顾问。实验显示,真实环境中机器人成功率平均提升16%,且系统可即插即用无需重新训练,为机器人智能化发展提供了新思路。