电影角色大变身！MovieCharacter框架让角色视频合成更简单高效！

角色视频合成已成为计算机视觉和图形学领域的一个关键挑战，其多样化的应用领域包括电影制作、视频游戏开发、虚拟现实和交互媒体体验。最近在这一领域的进步，如神经渲染技术和深度生成模型，在产生逼真的角色动画和栩栩如生的场景方面取得了有希望的结果。然而，许多主流方法都需要大量的微调或依赖于复杂的3D建模技术。这些要求不仅阻碍了这些方法的可用性，还限制了它们在实时场景中的适用性，在实时场景中效率和响应性至关重要。因此，迫切需要创新解决方案来简化合成过程，使高质量的角色视频能够以更高效和用户友好的方式生成。解决这些挑战对于扩大角色视频合成在各种创意和交互应用中的潜力至关重要。

本文提出了一个名为MovieCharacter的无需调优的框架，用于解决电影角色视频合成问题。

实现角色合成的直观方法是将对目标角色的驱动姿势动作叠加到原始电影剪辑上。基于目标角色的姿势与电影场景中的姿势对齐，这是可行的，确保了一致性的整合。潜在的假设是，姿势作为一组抽象的运动数据，可以直接应用于旧剪辑，而不损害视觉连贯性。然而，这种简单性可能会以视觉降级的代价为代价。直接粘贴姿势可能无法解释新旧角色之间的微妙差异，例如身体类型、服装形状和运动动态的变化，这可能导致最终输出中的明显差异。

为了解决这些潜在的差异并提高组合视频的视觉质量，采用了更为细致的方法。这涉及到从视频中仔细去除旧角色的所有痕迹，从而为新角色的整合提供一个干净的背景。擦除旧角色及其相关元素的过程并不简单，需要使用复杂的工具来确保背景保持完整且无任何伪影。为了解决这些潜在的差异并提高组合视频的视觉质量，擅长填补被移除角色留下的空白，确保新旧角色之间的无缝且视觉上令人愉悦的过渡。通过利用ProPainter，我们可以在最终组合中实现高度的真实感，与当代视频制作中预期的美学标准相一致

角色动作模仿旨在使定制的角色II能够复制选定电影中目标角色的动作，确保合成的动作与目标的行为和视角一致。在这项工作中，我们将角色动作模仿任务重新构想为一个姿态引导的角色动画问题。姿态引导角色动画的最新进展主要集中在扩散模型上，这些模型通过高维姿态表示有效地捕捉复杂的运动动态。

为了实现角色动作、外观和场景元素的无缝集成，提出了光照感知和视频和谐化技术，以及边缘感知视频细化技术。PCT-Net用于和谐化前景和背景的外观，确保时间上的连贯性。ProPainter用于进一步细化边缘区域，捕捉角色的细微差别，提高合成视频的边缘保真度和整体视觉质量。

为了评估我们提出的框架的有效性，我们构建了一个包含经典电影剪辑的数据集，这些剪辑是从一个广泛使用的视频分享平台收集的。在我们的实验设置中，输入参考图像被调整为1024x768的分辨率，而输入视频则配置为1024x2048的分辨率。为了全面评估我们方法的鲁棒性和泛化能力，我们进行了大量专注于角色视频合成的实验。如图5所示，结果表明我们的方法始终能够产生高质量的输出，并且合成的角色无缝集成到电影剪辑中，验证了所提解决方案的有效性。