自动驾驶汽车以及能够行走、交谈并与我们并肩工作的人形机器人,是 AI 在不久的将来改变世界的两个令人惊叹的方式。
但要想安全有效地运行,这些物理 AI 工具和应用必须能够理解现实世界。
在今年的拉斯维加斯消费电子展上,NVIDIA 刚刚宣布推出其 Cosmos 平台,该平台旨在加速物理 AI 系统的开发。
被称为"机器人领域的 ChatGPT 时刻",Cosmos 能够生成海量合成数据。尽管这些数据是人工创建的,但它们与真实世界足够接近,足以让机器人、自动驾驶汽车和其他物理 AI 算法从中学习。
然而,一些人认为,无论多少合成数据都无法完全模拟机器需要准备应对的所有现实场景。这就是为什么特斯拉花费多年时间,通过其搭载传感器的汽车收集真实世界数据的原因。CEO 埃隆·马斯克在推特上写道:"两种数据可以无限扩展:合成数据存在'是否真实?'的问题,而真实世界的视频则不存在这个问题。"
争论的焦点在于,合成数据缺乏真实世界的混沌不可预测性和复杂性,而这些对于构建全面且安全的 AI 系统至关重要。让我们更详细地探讨这个问题。
合成数据与真实世界数据的对比
在自动驾驶系统中,视觉数据(图像)用于训练算法,决定车辆如何对道路上的不同条件和情况做出反应。这些数据可以通过安装在车辆上的摄像头捕获(真实世界数据),也可以由 AI 算法根据研究真实世界数据所学到的规则生成(合成数据)。
这两种方法都有其优势和劣势。
合成数据的收集通常比真实世界数据更快、更经济。无需实地收集数据,只需由机器生成即可。
这也能带来安全方面的好处。例如,在道路上测试自动驾驶汽车显然存在一定风险,但如果只是模拟行驶,这些风险就可以消除。
此外,情境、环境和许多其他变量都可以自定义,而不必等待理想的数据收集条件在现实世界中出现。例如,研究人员可以模拟罕见的天气事件,在危险场景中测试自动驾驶车辆,或模拟复杂的制造缺陷,而无需承担现实世界的风险或延迟。
生成合成数据还可以减少或消除现实世界中可能存在的隐私和数据保护问题,因为不存在敏感个人数据被意外存储或泄露的风险。
这种情况在收集真实世界数据时可能会发生。例如,自动驾驶汽车的摄像头捕获的车牌号码可能会被关联到车主并用于识别和追踪他们。
正如马斯克指出的,真实世界数据具有不可否认的真实性优势。难以通过合成方式生成的混沌和难以预测的人类行为,更有可能在真实数据中得到体现。
监管也可能是一个问题。AI 相关法律正在快速发展,监管机构可能会出于安全考虑,要求某些模型或应用在特定时期或特定地区必须使用真实世界数据进行训练。
权衡选择
事实上,真实世界数据和合成数据对于训练下一代物理 AI 车辆和机器人都至关重要。
两者都具有独特的优势和挑战,采用混合方法可能是通往成功的最佳途径。
关键在于识别哪种方法最适合特定用例。例如,合成数据可能更适用于处理敏感信息或在危险条件下操作的任务或应用。
而真实世界数据则可能在捕捉动态人类行为或可能遇到混沌不可预见事件的情况下表现更好。
这意味着,采用平衡方法的 AI 项目,由理解合成数据和真实世界数据如何相辅相成而非相互竞争的人员领导,更有可能创造真正的商业价值。
好文章,需要你的鼓励
本文揭示了AI时代CIO的七项关键行为特征,基于对多位CIO和AI专家的深度访谈。专家指出,AI精通的CIO需具备实用AI素养、战略视野和变革领导力,能将技术与业务战略对齐,建立强大数据治理基础。文章详细解析了分析型AI、生成式AI和智能体AI三大技术领域,强调数据基础的重要性,并提出CIO应从项目思维转向产品思维,通过跨职能团队实现端到端价值交付。
斯坦福大学等机构联合开发的CIFT系统首次解决了机器人"近视眼"问题,通过精确控制真实数据和合成数据的混合比例,让机器人在陌生环境中的表现提升54%以上。该系统包含多视角视频增强引擎MVAug和数据组合优化策略,能够预测数据失效的"去相干点",确保机器人学习真正重要的任务特征而非环境表象,为实用化通用机器人奠定了重要基础。
尽管苹果在AI竞赛中看似落后,但其私有云计算基础设施展现了技术优势。当行业为追赶大语言模型而降低隐私标准时,苹果坚持原则,开发出保护用户数据隐私的技术方案。谷歌最新宣布的类似实施方案验证了苹果技术路线的正确性,这可能推动其他AI实验室采用相同做法,为用户隐私带来重大胜利。
香港中文大学研究团队开发的Search-R3系统成功解决了大语言模型推理与搜索分离的问题,通过两阶段训练让AI在深度思考过程中直接生成搜索向量。该系统在多个领域测试中显著超越现有方法,特别是启用推理后性能提升明显,为AI系统设计提供了推理与搜索统一的新范式,展现了从专门化向通用化发展的重要方向。