Meta刚刚发布了其SAM系列的第三代产品,SAM代表"分割任意物体模型"。这些AI模型专注于视觉智能,将为Meta平台上的内容编辑功能带来改进。
这些并非驱动聊天机器人的大语言模型,也不属于Meta的Llama系列,尽管在创建过程中使用了Llama模型。相反,SAM系列是在物体检测方面表现出色的AI模型。SAM 3D在特定物体识别方面更为精准,比如人体识别。这种视觉智能是AI模型用于更好理解物理世界的一种方式。
Meta使用大量数据集训练了SAM 3,将图像和视频与相应的文本描述进行匹配。因此,如果你在照片中点击一头大象,SAM 3可以分析图像并高亮显示图像中的所有大象。你也可以使用文本进行操作,比如要求模型高亮显示"红帽子"或"所有坐着的人"。处理这些具体请求的精确性正是新模型的专长所在。
这些不是图像或视频生成模型,所以如果你不是开发者,可能不需要直接看到或使用它们。(如果感兴趣,可以在新的分割任意物体演练场查看开放权重模型。)但很快你就会在Meta平台的内容编辑工具中看到改进,这都要归功于SAM 3。
该公司正在使用新模型为其Instagram Edits视频编辑器应用和AI视频应用Vibes提供更精确的编辑功能。你可以选择多个物体并批量应用编辑。Facebook Marketplace的"房间查看"功能将使用SAM 3向你展示人们出售的物品(如家具)在你家中的效果。
这些模型在现实生活中应用的一个例子是野生动物保护研究。据新闻稿显示,Meta与两家野生动物监测公司ConservationX和Osa Conservation合作,建立了一个包含来自超过10000台摄像机的"研究就绪原始视频素材"数据库,捕获了100多个物种。SAM 3模型帮助分析视频并更好地识别动物。
这些模型来自Meta的超级智能实验室。Meta的AI雄心在今年夏天推动了一项价值数十亿美元的努力,从其他AI公司挖走最优秀的AI领导者和开发者。但Meta的AI团队面临着重大挑战,导致公司在10月下旬解雇了AI部门的600名员工。金融时报最近的报道表明,Meta首席AI科学家和AI先驱Yann LeCun计划离开Meta创立自己的公司。
Q&A
Q1:SAM 3是什么类型的AI模型?
A:SAM 3是"分割任意物体模型",专注于视觉智能和物体检测。它不是大语言模型,而是擅长识别和分割图像或视频中特定物体的AI模型,比如可以在照片中精确识别所有大象或红帽子。
Q2:SAM 3在野生动物保护中如何应用?
A:Meta与ConservationX和Osa Conservation两家野生动物监测公司合作,使用SAM 3分析来自超过10000台摄像机的视频素材。该模型帮助更好地识别视频中的动物,建立包含100多个物种的研究数据库,为野生动物保护研究提供支持。
Q3:普通用户如何体验SAM 3的功能?
A:普通用户将通过Meta平台的内容编辑工具体验SAM 3。它将改进Instagram Edits视频编辑器和Vibes AI视频应用的编辑精确度,允许用户选择多个物体并批量编辑。Facebook Marketplace的"房间查看"功能也将使用SAM 3展示家具在用户家中的效果。
好文章,需要你的鼓励
谷歌发布新的AI学术搜索工具Scholar Labs,旨在回答详细研究问题。该工具使用AI识别查询中的主要话题和关系,目前仅对部分登录用户开放。与传统学术搜索不同,Scholar Labs不依赖引用次数或期刊影响因子等传统指标来筛选研究质量,而是通过分析文档全文、发表位置、作者信息及引用频次来排序。科学界对这种忽略传统质量评估方式的新方法持谨慎态度,认为研究者仍需保持对文献质量的最终判断权。
Meta公司FAIR实验室与UCLA合作开发了名为HoneyBee的超大规模视觉推理数据集,包含250万训练样本。研究揭示了构建高质量AI视觉推理训练数据的系统方法,发现数据质量比数量更重要,最佳数据源比最差数据源性能提升11.4%。关键创新包括"图片说明书"技术和文字-图片混合训练法,分别提升3.3%和7.5%准确率。HoneyBee训练的AI在多项测试中显著超越同规模模型,同时降低73%推理成本。
Meta发布第三代SAM(分割一切模型)系列AI模型,专注于视觉智能而非语言处理。该模型擅长物体检测,能够精确识别图像和视频中的特定对象。SAM 3在海量图像视频数据集上训练,可通过点击或文本描述准确标识目标物体。Meta将其应用于Instagram编辑工具和Facebook市场功能改进。在野生动物保护方面,SAM 3与保护组织合作分析超万台摄像头捕获的动物视频,成功识别百余种物种,为生态研究提供重要技术支持。
上海AI实验室团队提出ViCO训练策略,让多模态大语言模型能够根据图像语义复杂度智能分配计算资源。通过两阶段训练和视觉路由器,该方法在压缩50%视觉词汇的同时保持99.6%性能,推理速度提升近一倍,为AI效率优化提供了新思路。