微软联合高校推出深度伪造检测数据集，助力生成式AI内容鉴别

随着AI生成内容在网络上的大量涌现，帮助公众识别图像、音频或视频真伪的工作变得愈发困难，也愈发重要。为应对这一挑战，来自微软、美国西北大学以及非营利组织Witness的研究人员携手合作，共同构建了一个全新的AI生成媒体数据集，旨在帮助开发更加强健的深度伪造检测系统。Witness长期致力于协助活动人士和记者应对AI生成内容带来的各类挑战。

研究团队将这一新数据集命名为微软-西北大学-Witness深度伪造检测基准（MNW），相关研究成果已于4月10日发表在IEEE Intelligent Systems期刊上。该数据集在构建时刻意纳入了多样化的AI生成媒体样本，以尽可能真实地反映当前生成式AI的发展全貌。

微软首席研究科学家Thomas Roca专注于生成式AI安全领域的研究。他指出，生成式AI所产出的媒体质量正在持续提升，如今几乎任何人只需借助手机上的一款应用，便能生成模仿他人声音的语音消息，或伪造他人外貌的图像与视频。

此类虚假媒体所造成的危害十分深远，涵盖身份欺诈、诈骗，乃至生成未经当事人同意的私密影像，甚至儿童性虐待材料。

然而，AI生成工具并非无懈可击。在生成视频、图像或音频时，它们会留下所谓的"痕迹"——一些细微的信号或印记，可作为内容造假的佐证。"这些痕迹可能包括噪声分布异常、像素块之间的不一致性、音频信号中的断裂，以及其他各类不规则现象。"Roca说道。

当前检测面临的挑战

全球各地的研究团队一直在开发检测器，其本质上是经过训练、能够识别AI生成媒体中痕迹的AI模型。然而，这场检测与生成之间的军备竞赛中，生成工具始终占据上风。

"视频、图像和音频的真实性认定对社会来说至关重要，但现有检测系统尚未能胜任这一挑战。"Roca表示，"我们认为，这在一定程度上源于这些系统的评估方式存在问题。"

举例而言，研究人员可能会使用来自少数几个生成器的大量AI内容样本来训练检测器，但这样的检测器往往难以有效应对新生成的内容。生成式AI的迭代速度极快，这一问题因此愈发突出。

正因如此，这些检测系统在面对训练数据集或成熟基准测试时表现尚可，但在真实环境中却往往差强人意。"实验室里的AI不等于现实世界中的AI。"Roca如是说。

MNW基准的构建思路

为了更全面地应对上述挑战，微软、西北大学和Witness的专家联合开发了MNW基准。"这三方视角——学术界、产业界与面向实地的非营利组织——共同构成了一套更完整的方法论。单凭任何一方，都无法独立完成这项工作。"西北大学博士后研究员Marco Postiglione说道。

该数据集旨在汇集来自不同生成器的多样化AI生成素材，以提升检测器在真实场景中的适用性。

Postiglione指出，网络上的虚假视频、音频和图像通常已经过后处理操作，例如调整尺寸、裁剪和压缩。此外，也有人会刻意对内容进行处理，使其更难被检测到。

MNW团队致力于提供涵盖不同生成器、经历不同后处理操作的最全面样本集，以确保该数据集能够充分代表当前生成式AI的整体面貌。团队还计划每年春秋两季对数据集进行更新，以体现最新的生成器痕迹特征，以及试图规避检测系统的各类新手段。

研究人员也坦承，尽管该数据集的初衷是帮助开发者对其检测器进行基准测试，但不排除有人将其用于探索规避检测的新方法。尽管如此，他们仍认为应对深度伪造内容是当务之急。

"MNW的目标是为这项共同努力贡献力量——提升行业标准，推动透明度，并确保随着生成式AI的持续发展，我们评估内容真实性的能力也能同步跟上。"Roca说道。

Q&A

Q1：MNW深度伪造检测基准数据集是什么？有什么特别之处？

A：MNW是由微软、西北大学和非营利组织Witness联合构建的深度伪造检测基准数据集，全称为Microsoft-Northwestern-Witness。它的特别之处在于纳入了来自多种生成器的多样化AI媒体样本，并涵盖了调整尺寸、裁剪、压缩等各类后处理操作的内容，更贴近真实网络环境。此外，团队每年春秋两季更新数据集，以紧跟最新生成器技术的发展。

Q2：现有的深度伪造检测系统为什么在现实中表现不佳？

A：主要原因在于训练数据来源单一，研究人员通常只用少数几个生成器的样本来训练检测器，导致模型泛化能力不足，难以应对来自新生成器或经过后处理的内容。加之生成式AI迭代速度极快，检测系统的更新跟不上生成工具的进化节奏，使得在实验室环境中表现良好的系统在真实场景下往往力不从心。

Q3：AI生成内容中的"痕迹"具体指什么？

A：痕迹是指AI在生成图像、视频或音频时无意间留下的细微异常特征，可作为判断内容为AI生成的依据。这些痕迹包括：图像中的噪声分布异常、像素块之间存在不一致性、音频信号出现断裂或间隙，以及其他各类难以被肉眼察觉的不规则现象。检测器正是通过学习识别这些痕迹来判断媒体内容的真伪。