阿布扎比在全球人工智能竞争中迈出决定性步伐,推出了多模态模型Falcon Perception,让机器能够高效地观察、阅读和解读物理世界。
技术创新突破
Falcon Perception由阿联酋先进技术研究委员会下属应用研究机构技术创新研究院(TII)开发,通过结合视觉和语言能力扩展了阿联酋的AI生态系统。随着全球AI竞争日趋激烈,阿联酋将自己定位为能够大规模开发先进多模态系统的国家之一,而Falcon Perception正是这一雄心的核心。
与许多通常使用数十亿参数的知名多模态模型相比,Falcon Perception拥有约6亿个参数,显著更加紧凑。TII人工智能与数字研究中心首席研究员哈基姆·哈西德表示:"我们开发Falcon Perception的目标是挑战视觉系统必须依赖复杂多阶段架构的普遍假设。通过证明单一密集Transformer可以高效处理感知任务,我们为新一代可扩展多模态系统开启了大门。"
这种效率与性能的平衡体现了更广泛的AI趋势:研究人员不再专注于增加参数数量或需要大量计算资源,而是强调模型设计优化,如高效的Transformer变体,即使在资源受限的硬件上也能实现出色结果。
多模态AI的前沿应用
多模态AI被广泛视为人工智能的下一个前沿。虽然大语言模型主导了最近的进展,但随着AI扩展到机器人技术、制造业和智能基础设施领域,机器解释物理世界并与之交互的能力变得至关重要。
Falcon Perception采用统一的基于Transformer的架构,在模型输入层面实现视觉和语言特征的端到端集成。与传统的将单独训练的计算机视觉和自然语言处理模块连接的管道不同,Falcon Perception直接在其共享网络内跨模态处理和推理,减少了推理延迟和部署复杂性。
因此,该系统可以使用自然语言提示解释复杂的多对象视觉场景。用户可以指示模型识别、计数或分割图像中的特定对象,Falcon Perception会返回边界框、分割掩码或文本输出,即使在拥挤复杂的环境中也能胜任。
这些能力对工业应用具有明显意义。在制造业中,该模型可以实现自动检查和缺陷检测。在机器人技术中,它使机器能够在动态环境中遵循自然语言指令。在企业环境中,它可以简化大规模文档处理和视觉数据标注。
国家主权AI战略
对TII而言,此次发布不仅代表一个技术里程碑,也是更广泛国家战略的一步。自启动AI议程以来,阿联酋一直优先建设主权能力,确保关键技术的国内发展、负责任治理以及与长期经济目标的一致性。
TII首席执行官雷·约翰逊表示:"从一开始,阿布扎比就专注于推进设计上安全、透明和主权的AI研究。我们的目标是确保政府、工业界和社会能够自信地采用AI。"
TII的工作涵盖AI安全、评估和部署框架以及大规模研究项目。这一努力的旗舰成果是Falcon,阿联酋自主研发的大语言模型,由TII于2023年首次推出。Falcon因其性能和作为开源模型发布而迅速获得国际关注,体现了阿布扎比对开放性与治理可以共存的信念。
Falcon不仅仅是一项技术成就,而是更广泛的国家AI发展系统的一部分。通过将科学研究与政府层面的敏捷决策相结合,阿布扎比旨在加速采用的同时保持监督和信任。
Q&A
Q1:Falcon Perception是什么?有什么特点?
A:Falcon Perception是阿联酋技术创新研究院开发的多模态AI模型,能让机器高效地观察、阅读和解读物理世界。它拥有约6亿个参数,比许多使用数十亿参数的知名多模态模型更加紧凑,采用统一的Transformer架构,可以直接处理视觉和语言任务。
Q2:Falcon Perception在实际应用中能做什么?
A:该系统可以使用自然语言提示解释复杂的视觉场景,用户可以指示模型识别、计数或分割图像中的特定对象。在制造业可用于自动检查和缺陷检测,在机器人技术中让机器遵循自然语言指令,在企业环境中可简化大规模文档处理和视觉数据标注。
Q3:阿联酋为什么要发展主权AI技术?
A:阿联酋将发展主权AI作为国家战略,旨在确保关键技术的国内发展、负责任治理以及与长期经济目标的一致性。通过建设自主AI能力,阿联酋希望在全球AI竞争中占据有利地位,同时保持对技术发展的控制权和治理能力。
好文章,需要你的鼓励
Uber年度失物报告首次纳入无人驾驶出租车数据。过去一年,乘客在Uber平台的机器人出租车中遗留了数千件物品,包括手机、钥匙、钱包等常见物品,以及假牙、15磅溜溜球等奇特物件。乘客可通过App联系客服找回失物,支付15美元即可享受同城配送,或前往车辆停放站自取。Uber表示,将依托现有运营体系为自动驾驶业务提供全面支持,计划2025年底前在全球15座城市开通无人驾驶打车服务。
TREK方法通过引入外部验证解法对AI进行短期校准,解决了GRPO训练在困难题目上因无法探索正确解法区域而陷入瓶颈的问题,在数学推理和智能体任务上均取得明显提升。
Uber周三发布了一款基于现代Ioniq 5改装的数据采集原型车,搭载14个摄像头、8个固态激光雷达和9个雷达,通过英伟达双驱Thor计算机处理数据。Uber计划今年在全球部署500辆此类车辆,每月可采集200万英里高保真驾驶数据,供Avride、Waymo、WeRide等30余家自动驾驶合作伙伴使用。这是Uber自2020年出售自动驾驶部门以来首次自主组装车辆,也是其AV Labs部门的重要进展。
SkillOpt-Lite通过将智能体技能优化形式化为零阶优化问题,提出极简流水线:把执行轨迹存为文本文件,让AI直接用文件系统工具翻日志、找规律、改技能,配合独立验证门控,比复杂的多智能体优化框架跑得更快效果更好,并自然延伸至执行框架自动优化(HarnessOpt),使轻量模型能够超越大模型。