一张ImageNet图像构建3D对象！华为诺亚提出3D生成新方法G3DR！

论文名：G3DR: Generative 3D Reconstruction in ImageNet

论文链接：https://arxiv.org/pdf/2403.00939.pdf

开源代码：https://github.com/ preddy5/G3DR

我 们 采 用 多 分 辨 率 三 平 面 采 样 策 略 来 提 高 生 成 模 型 的 性 能 。给 定 一 个 三 平 面 G我 们 创 建 了 一 组 具 有 不 同 分 辨 率 的 三 平 面 L l=1， 其 中 L表 示 层 次 的 总 数 。每 一 层 Gl是 通 过 将 前 一 层 Gl– 1重 采 样 到 一 半 的 分 辨 率 来 构 建 的 。在 我 们 的 实 验 中 ， 我 们 构 建 了 3个 水 平 。所 有 水 平 都 进 行 了 反 走 样 重 采 样 ， 以 尽 量 减 少 不 良 的 失 真 伪 影 。对 于 每 个 Gl， 我 们 通 过 将 r(t)投 影 到 每 个 正 交 的 特 征 平 面 上 ， 并 使 用 双 线 性 插 值 检 索 它 们 对 应 的 特 征 向 量 ， 对 r(t)对 应 的 潜 值 进 行 采 样 。然 后 ， 我 们 使 用 均 值 操 作 聚 合 来 自 各 个 平 面 的 特 征 向 量 ， 并 使 用 求 和 [5,53]对 来 自 不 同 Gl的 特 征 向 量 进 行 排 序 。请 注 意 ， 我 们 的 采 样 策 略 与 [18,41,68]等 方 法 中 使 用 的 多 分 辨 率 三 平 面 策 略 不 同 ， 在 这 些 方 法 中 ， 在 不 同 的 分 辨 率 下 学 习 单 独 的 三 平 面 潜 。这 种 多 分 辨 率 采 样 风 格 在 不 增 加 模 型 参 数 数 量 的 情 况 下 提 高 了 模 型 性 能 。然 后 我 们 将 最 终 的 特 征 向 量 传 递 给 fdec以 生 成 图 像 的 3D特 征 ， 然 后 通 过 神 经 体 渲 染 进 行 渲 染 。在 图 3中 ， 我 们 展 示 了 如 果 我 们 只 从 最 粗 的 层 次 开 始 采 样 ， 然 后 从 更 细 的 层 次 添 加 样 本 ， 纹 理 和 几 何 是 如 何 受 到 影 响 的 。

我 们 的 多 分 辨 率 采 样 示 意 图

在 本 节 中 ， 我 们 将 描 述 在 我 们 的 框 架 中 使 用 的 不 同 损 失 。我 们 区 分 了 规 范 视 图 的 训 练 和 新 视 图 的 训 练 。规 范 的 观 点 。沿 着 规 范 视 图 ， 我 们 训 练 网 络 以 准 确 重 建 具 有 良 好 几 何 形 状 的 地 面 真 值 。在 我 们 的 实 验 中 ， 所 有 数 据 集 的 地 面 真 值 相 机 外 部 参 数 都 是 未 知 的 ， 没 有 准 确 的 模 型 来 估 计 这 些 参 数 。因 此 ， 我 们 选 择 了 一 组 合 理 的 相 机 参 数 ， 并 将 它 们 用 作 所 有 图 像 的 规 范 视 图 参 数 。我 们 遵 循 标 准 公 式 ， 并 定 义 重 建 损 失 Lreconas渲 染 和 真 实 像 素 值 之 间 的 总 平 方 误 差 。我 们 还 使 用 深 度 损 失 LD定 义 为 L1之 间 的 损 失 伪 地 面 真 值 深 度 图 ， 我 们 估 算 渲 染 图 像 的 累 计 深 度 值 :

其 中 ε is一 个 为 训 练 稳 定 性 引 入 的 超 参 数 。对 于 不 同 的 Ni=1值 ， 这 种 近 似 深 度 可 以 导 致 相 同 的 D值 ， 其 中 许 多 值 是 退 化 的 ， 导 致 体 积 坍 缩 。我 们 通 过 在 反 向 传 播 过 程 中 操 作 3.2节 中 解 释 的 梯 度 来 解 决 这 个 问 题 。为 了 进 一 步 提 高 视 觉 性 能 ， 我 们 添 加 了 感 知 损 失 LVGG[63]。我 们 将 canonical视 图 的 损 失 定 义 为 上 述 损 失 的 加 权 和 :

其 中 λ 1， λ 2， λ 3是 缩 放 损 失 的 超 参 数 。新 颖 的 观 点 。从 单 一 视 图 生 成 新 视 图 的 一 个 主 要 挑 战 是 新 视 图 中 的 损 失 监 督 。其 他 工 作 通 过 使 用 对 抗 性 训 练 [42,49]或 3d感 知 修 复 [57]来 实 现 这 一 点 。相 反 ， 我 们 设 计 了 我 们 的 新 框 架 ， 使 用 基 于 新 视 图 和 真 实 值 之 间 特 征 差 异 的 损 失 LCLIP， 使 用 视 觉 语 言 模 型 [36]。我 们 的 直 觉 是 ， 尽 管 有 相 机 的 运 动 ， 图 像 的 语 义 应 该 与 地 面 真 实 图 像 的 语 义 相 同 。我 们 证 明 了 这 个 解 决 方 案 ， 尽 管 非 常 简 单 ， 但 足 够 强 大 ， 通 过 使 用 它 ， 网 络 获 得 了 对 新 观 点 所 需 的 监 督 。此 外 ， 由 于 它 没 有 对 抗 性 训 练 ， 它 的 收 敛 相 对 于 其 他 方 法 更 稳 定 。对 于 几 何 监 督 ， 我 们 在 累 积 深 度 上 使 用 TV-loss(LTV)[31]来 鼓 励 平 滑 的 几 何 ， 而 对 于 真 实 感 ， 我 们 使 用 感 知 损 失 。我 们 将 新 视 图 的 损 失 定 义 为 上 述 损 失 的 加 权 和 :

对 于 LVGG2， 不 像 在 canonical view中 我 们 使 用 来 自 五 个 级 别 的 特 征 ， 在 novel view中 ， 我 们 只 使 用 来 自 最 后 两 个 级 别 的 特 征 。这 是 因 为 虽 然 我 们 期 望 新 视 图 中 的 图 像 语 义 与 输 入 图 像 相 同 ， 但 其 底 层 特 征 并 不 一 定 相 同 ， 因 此 使 用 所 有 五 个 特 征 会 导 致 图 像 模 糊 。为 了 补 偿 使 用 较 少 的 特 征 ， 我 们 将 λ 6设 置 为 λ 3值 的 两 倍 。在 新 颖 视 图 和 规 范 视 图 之 间 交 替 。我 们 在 训 练 期 间 在 规 范 视 图 和 新 视 图 之 间 随 机 采 样 。我 们 设 计 了 一 个 启 发 式 的 概 率 采 样 ， 我 们 最 初 以 更 高 的 概 率 为 规 范 视 图 进 行 采 样 。通 过 这 种 方 式 ， 网 络 快 速 学 习 更 容 易 的 图 像 重 建 任 务 。我 们 在 训 练 过 程 中 线 性 增 加 对 新 视 图 进 行 采 样 的 概 率 ， 但 对 新 视 图 进 行 采 样 的 概 率 永 远 不 会 高 于 对 规 范 视 图 进 行 采 样 的 概 率 。我 们 在 图 2c中 展 示 了 我 们 损 失 的 可 视 化 ， 并 在 补 充 材 料 中 给 出 了 更 多 的 细 节 。

到 目 前 为 止 ， 我 们 描 述 的 网 络 将 强 大 地 进 行 rgbd图 像 的 3D生 成 重 建 ， 这 一 任 务 对 AR/VR可 能 很 重 要 。然 而 ， 在 这 项 工 作 中 ， 我 们 专 注 于 无 条 件 或 类 条 件 的 生 成 建 模 ， 以 多 样 化 地 生 成 3D场 景 。因 此 ， 我 们 首 先 在 ImageNet中 训 练 一 个 扩 散 模 型 ， 它 能 够 生 成 逼 真 的 单 视 图 rgbd图 像 。 

我 们 使 用 我 们 的 扩 散 模 型 来 无 条 件 或 有 类 条 件 地 生 成 rgbd图 像 。然 后 ， 我 们 将 生 成 的 图 像 输 入 到 3.4节 中 训 练 的 模 型 中 ， 该 模 型 通 过 生 成 3D三 平 面 来 完 成 rgbd 图 像 。有 趣 的 是 ， 在 我 们 的 实 验 部 分 ， 我 们 展 示 了 我 们 的 模 型 不 仅 适 用 于 以 类 为 条 件 的 imagenet类 图 像 ， 也 适 用 于 以 其 他 形 式 (如 文 本 )为 条 件 的 图 像 。为 此 ， 我 们 从 一 个 文 本 到 图 像 的 潜 在 扩 散 模 型 中 采 样 ， 然 后 将 这 些 图 像 输 入 到 我 们 的 模 型 中 以 获 得 它 们 的 3D表 示 。也 许 令 人 惊 讶 的 是 ， 我 们 展 示 了 我 们 的 模 型 即 使 对 于 域 外 样 本 也 能 很 好 地 工 作 ， 例 如 卡 通 。 

最 后 ， 训 练 一 个 生 成 高 分 辨 率 3D图 像 的 模 型 是 昂 贵 的 。相 反 ， 我 们 训 练 我 们 的 模 型 来 生 成 中 等 分 辨 率 的 图 像 (例 如 128x128)。然 后 ， 我 们 使 用 超 分 辨 率 网 络 [66]， 将 图 像 上 采 样 到 所 需 的 分 辨 率 (例 如 ， 256x256)。我 们 在 训 练 和 采 样 过 程 中 执 行 这 种 上 采 样 。

ImageNet上 的 结 果 。我 们 在 表 1中 展 示 了 ImageNet数 据 集 中 的 结 果 。如 图 所 示 ， 我 们 的 方 法 显 著 优 于 其 他 3D 方 法 。EG3D可 以 被 认 为 是 基 线 3D方 法 ， FID评 分 为 25.6。其 他 方 法 在 此 基 础 上 有 所 改 进 ， 最 近 的 方 法 ， 3DGP和 VQ3D达 到 了 19.7和 16.8的 FID分 数 。G3DR提 高 了 FID分 数 ， 达 到 了 13.1， 相 对 提 高 了 22%以 上 ， 创 下 了 新 的 水 平 。注 意 ， IVID在 128x中 进 行 了 评 估 ， 达 到 了 14.1， 比 我 们 在 该 分 辨 率 下 的 结 果 差 1.1个 百 分 点 (pp)。同 样 ， 我 们 在 《 盗 梦 空 间 》 中 大 幅 提 高 了 最 先 进 的 技 术 ， 达 到 了 151.7， 比 3DGP 相 对 提 高 了 21.5%。2D 方 法 ， 如 BigGAN、 StyleGAN-XL或 ADM， 达 到 了 更 好 的 视 觉 质 量 分 数 ， 但 它 们 没 有 任 何 对 图 像 几 何 形 状 的 考 虑 ， 因 此 无 法 与 我 们 的 方 法 相 提 并 论 。

对 我 们 的 方 法 和 替 代 深 度 监 督 方 法 的 定 性 评 价

我 们 的 方 法 与 两 种 最 先 进 的 方 法 之 间 的 几 何 比 较

细 粒 度 数 据 集 的 结 果

我 们 框 架 中 每 个 区 块 的 效 果

我 们 的 模 型 与 不 使 用 深 度 监 督 和 使 用 替 代 深 度 监 督 的 方 法 的 比 较