一秒钟实现移动图像中任何物体！Meta提出新的分层可控文生图模型！

可控场景生成（即生成具有可重新排列布局的图像的任务）是生成建模的一个重要课题 [16, 34]，其应用范围包括社交媒体平台的内容生成和编辑，以及互动式室内设计和视频游戏。

数源AI 最新论文解读系列

论文名：Move Anything with Layered Scene Diffusion

论文链接：https://arxiv.org/pdf/2404.07178.pdf

一秒钟实现移动图像中任何物体！Meta提出新的分层可控文生图模型！

引言

在 GAN 时代，潜空间 [14, 21, 32, 39] 被设计用于对生成的场景进行中级别的控制。这些潜空间以无监督的方式优化，在场景布局和外观之间提供分离。例如，BlobGAN [14] 使用一组溅墨图形来控制 2D 布局，而 GIRAFFE [21] 则使用组合神经领域来控制 3D 布局。虽然这些方法可以很好地控制场景布局，但生成的图像质量仍然有限。

简介

在本文中，我们提出 **SceneDiffusion** 在扩散采样过程中优化分层场景表示。我们的主要见解是可以通过在不同空间布局下对场景渲染进行联合去噪来实现空间分离。我们生成的场景支持各种空间编辑操作，包括移动、调整大小、克隆以及分层外观编辑操作，例如对象重新造型和替换。此外，可以根据参考图像生成场景，从而实现野生图像中的对象移动。值得注意的是，该方法无需训练，与一般文本到图像扩散模型兼容，响应时间不到一秒。

方法与模型

框架概述。我们的框架概览如 Figure 2 所示。在 Section 3.1 中，我们简要介绍了关于扩散模型和局部条件扩散的初步工作。然后在 Section 3.2 中，我们介绍了如何通过 SceneDiffusion 获取空间分离的层状场景。最后在 Section 3.3 中，我们讨论了 SceneDiffusion 如何实现对真实场景图像的空间编辑。

Preliminary

一秒钟实现移动图像中任何物体！Meta提出新的分层可控文生图模型！

我们的框架分为两个阶段：（i）优化阶段，我们使用 SceneDiffusion 对分层场景表示形式进行优化 T – τ 个扩散步骤，以及（ii）推理阶段，我们使用 τ 步标准图像扩散来渲染优化的分层场景。（iii）SceneDiffusion 通过并行去噪多个随机采样的布局来更新分层场景。在这个示意图中，场景由 4 层组成。每一层由一个特征图 f、一个掩码 m（显示为矩形）和一个文本提示 y（显示在底部）组成。在去噪步骤 t 中，我们随机采样 N 个布局并渲染它们以获得不同的视图 v (t)。然后，我们使用预训练的 T2I 扩散模型对视图进行一步去噪，以获得 v^ (t–1)，并将其用于更新分层场景中的特征图 f (t) → f (t–1)。需要注意的是，这里矩形仅作为对象的粗略几何形状（类似于 Epstein et al. [9] 中的blob），可以替换为更准确的掩码。

扩散模型（Diffusion Models）。扩散模型 [15, 42] 是一种生成式模型（generative model），它学习从随机输入噪声中生成数据。更具体地说，给定来自数据分布 x0 ~ p(x0) 的一个图像，一个固定的正向噪声过程（forward noising process）会逐步向数据添加随机高斯噪声，从而创建一个随机隐变量 x1, x2, ..., xT 的马尔可夫链（Markov Chain）：

一秒钟实现移动图像中任何物体！Meta提出新的分层可控文生图模型！

其中 β1, ...βT 是与所选择的噪声计划对应的常数，假设扩散步骤足够多，则 xT 为标准高斯白噪声。然后我们训练一个去噪器 θ 来学习反过程，即如何从噪声输入中去除噪声 [15]。在推理时，我们可以从随机标准高斯噪声 xT ~ N (0; I) 开始对图像进行采样，并根据马尔可夫链（Markov Chain）迭代地对图像去噪，即连续从 pθ(xt–1|xt) 中对 xt–1 进行采样，直到 x0：

一秒钟实现移动图像中任何物体！Meta提出新的分层可控文生图模型！

其中 z ~ N (0, I)，λ? t = Qt s=1 λs，λt = 1 – βt，σt 是噪声尺度。**局部条件扩散 (Locally Conditioned Diffusion)**：已有多种方法 [bar2023multidiffusiopo2023compositional] 被提出来，基于局部文本提示使用预训练的文本到图像 (T2I) 扩散模型生成部分图像内容。对于 K 个局部提示 y = 和二进制非重叠掩码 m = ，局部条件扩散 [po2023compositional] 提出首先为每个局部提示 yk 使用无分类器指导 [ho2022classifier] 预测完整的图像噪声 εθ(xt, t, yk)，然后将其分配给相应的区域，该区域由 mk 掩码。

一秒钟实现移动图像中任何物体！Meta提出新的分层可控文生图模型！

其中 ⊙ 是元素级乘法。

Generating Scenes with SceneDiffusion

我们提出了一种名为分层场景扩散 [Layered Scene Diffusion] 的方法，用于从高斯噪声优化分层场景中的特征图。分层场景扩散的每个步骤 1）从随机采样的布局渲染多个视图，2）从视图中估计噪声，然后 3）更新特征图。具体来说，分层场景扩散从 [0; μk] × [0; νk] 运动范围中采样 N 组偏移量 [o1,n, o2,n, · · · , oK,n] N n=1，其中每个偏移量 ok,n 是该范围内的元素。这会产生 N 种布局变体。布局数量越多有助于去噪器找到更好的模式，但也增加了计算成本，如 Section 4.2 所示。从 K 个潜在特征图中，我们将布局渲染为 N 个视图 vn ∈ ：

一秒钟实现移动图像中任何物体！Meta提出新的分层可控文生图模型！

然后，我们在每个 SceneDiffusion 步骤中堆叠所有视图，并使用 Equation 3 中描述的使用局部条件扩散（locally conditioned diffusion） [33] 来预测噪声 N n=1：

一秒钟实现移动图像中任何物体！Meta提出新的分层可控文生图模型！

其中 m 是对象掩码，y 是每个图层的局部文本提示。由于我们可以并行运行多个布局去噪，计算 N n=1 几乎不会增加时间开销，但会额外消耗与 N 成比例的内存。然后我们使用 Equation 2 從估计的噪声 ε^ (t) n 更新视图 v (t) n 以得到 v^ (t–1) n 。由于每个视图对应于一个不同的布局并独立地进行去噪，因此在重叠的掩码区域可能会发生冲突。因此，我们需要优化每个特征图 f (t–1) k ，使从 Equation 5 渲染得到的视图与去噪后的视图接近。

一秒钟实现移动图像中任何物体！Meta提出新的分层可控文生图模型！

This least square problem has the following closed-form solution:

一秒钟实现移动图像中任何物体！Meta提出新的分层可控文生图模型！

其中 move(x, –o) 表示 x 中沿 o 的反方向平移后的值。该解的推导过程与 Bar-Tal et al. [1] 中的讨论类似。该解本质上将 f (t–1) k 设置为裁剪后去噪视图的加权平均值。

Neural Rendering with Image Diffusion

我们在运行 SceneDiffusion T – τ 步后，改为运行原始图像扩散 τ 步。由于层掩码 m（如边界框）仅作为一种粗略的中级表示形式，而不是准确的几何形状，因此可以将该图像扩散阶段视为一种神经渲染器，它将中间控制映射到图像空间 [9, 30, 49]。τ 的值是在图像质量和对层掩码的忠实度之间进行权衡。τ 值设置为总扩散步长的 25% 到 50% 可以取得最佳效果，这通常使用流行的 50 步 DDIM 调度程序 [43] 耗时不到一秒。可以单独设置图像扩散阶段使用的全局提示。在本工作中，我们主要将全局提示设置为按深度顺序连接局部提示的结果 yglobal =< y1, y2, . . . , yK >，发现这种简单的策略在大多数情况下都足够有效。

Layer Appearance Editing

通过修改本地提示，可以单独编辑每一层的外观。通过将本地提示更改到一个新的提示，然后使用相同的功能图初始化执行命名扩散，可以对物体进行重新造型或替换。

Application to Image Editing

SceneDiffusion可以通过将其采样轨迹作为*锚*，以参考图像为条件，从而允许我们改变现有图像的布局。具体来说，当给定参考图像和现有布局时，我们将参考图像设置为最终扩散步骤的优化目标，即锚视图表示为 v^ (0) a 。然后，我们在不同的扩散噪声级别向该视图添加高斯噪声，在不同的去噪步骤创建一个锚视图的轨迹。

一秒钟实现移动图像中任何物体！Meta提出新的分层可控文生图模型！