32.2M指代分割数据集，新SOTA！国科大提出统一的对象级和部分级定位新方法UniRES!

开源代码：https://github.com/Rubics-Xuan/MRES

在本文中，我们进一步迈向更精细 的部分级RES任务。为了促进面向更精细视觉-语言理 解的对象级RES任务，我们提出了一个新的多粒度指 代表达分割（MRES）任务，并通过手动注释构建了 一个名为RefCOCOm的评估基准。通过利用我们的自 动模型辅助数据引擎，我们构建了最大的视觉定位数 据集，即MRES-32M，其中包括超过32.2M个高质量的 蒙版和标题，涵盖了提供的1M张图像。此外，设计了 一个简单但强大的模型UniRES来完成统一的对象级和部分级定位任务。对我们的RefCOCOm进行的大量实 验，以及对经典RES任务的三个数据集（即，RefCOCO （+/g））的实验表明，我们的方法优于先前的最先进方法。

考虑到经典的指代表达分割任务的内在复杂性， 相关的训练数据需要在文本和视觉领域进行广泛的注 释成本。当粒度提升到部分级别时，注释的复杂性进 一步加剧。我们认为，阻碍开放世界基础的主要瓶颈 是当前数据可扩展性所施加的限制。通过利用强大的 基础模型进行协同增强，我们引入了一个先进的数据 引擎，能够自动生成可靠的视觉基础数据。

（1）多粒度密集字幕生成器。

对 于图像粒度，我们使用COCO数据集，其中所有 边界框都统一表示为(0,0),(999,999)。对于对象粒 度，我们利用Visual Genome数据集。对于部分粒 度，我们利用单模态语义分割数据，并采 用PartNameX of ObjectNameY形式的模板构建密 集字幕。这种统一的多任务训练方法可以在不同粒度 之间协同增强：它允许LVLMs融合更全面和详细的信 息以增强部分粒度描述。同时，部分粒度的知识有助 于LVLMs在对象内部推广知识。

UniRES有三个主要组件：

（1）视觉-语言骨干网络。 

    考虑到捕捉视觉-语言特征表 示的强大能力和可扩展性的要求，我们利用CLIP模 型[32]的CLIP预训练权重，该模型从大量的图像-文本 对中学习可转移的视觉和语言概念，并将其作为我们 的参考分割框架的骨干。我们利用CLIP中的图像和文 本编码器（即VisionTransformer (ViT) [8]和Transformer [39]）来有效提取视觉和语言特征。

（2）基于查询的分组设计。

    为了有效完成提出的MRES任 务，必须利用低级局部和高级全局视觉特征。为了增 强CLIP骨干的局部-全局视觉表示，而不引入太多额外 的参数或改变模型的结构，我们在CLIP视觉骨干的第 一层和中间层中分别加入了64个和8个可学习的标记 （经验设置）。这些可学习的标记遍布视觉骨干的前半 部分和后半部分。我们期望ViT的内部自注意机制隐式 地执行视觉分组的方式，同时获取捕捉低级局部和高 级全局特征的代表性分组标记。基于局部特征更加分 散的事实，附加的低级分组标记的数量大于高级分组标记的数量。然后，来自两个级别的分组标记被输入 到一个语言引导的区域过滤器（LRF）中，通过交叉注 意机制选择与语言相关的视觉特征，然后进行串联以 融合这些与表达相关的视觉分组标记，用于后续的视 觉-语言解码。

（3）两阶段V-L解码器。

    现在，从骨干网络中获取了视觉和 文本特征表示，以及具有两个不同级别的与表达相关 的分组标记，我们使用由堆叠的Transformer层组成的 两阶段掩码解码器来生成分割掩码。具体而言，第一 阶段的V-L解码器将提取的视觉和文本特征作为输入， 并生成第一阶段融合的多模态表示。随后，这些多模 态特征进一步与两个语义级别（即低级和高级）的分 组表达相关区域特征进行集成，以实现进一步的特征 增强，然后通过线性投影层获得最终的分割掩码。