揭秘扩散模型"创造力"的数学本质

扩散模型目前是处理图像生成、分子发现等复杂生成任务中最强大的工具之一。它们展现出一种令人振奋的能力——能够泛化到训练数据之外，并在这种意义上表现出"创造力"。例如，在经过真实图像数据集训练后，扩散模型可以将随机噪声转化为全新的高质量图像。

这种创造能力令人印象深刻，但同时也引发了一个耐人寻味的问题：它究竟从何而来？理解这一问题，是揭开基于扩散的生成式 AI"黑箱"本质的重要一步。

为此，谷歌在发表于 ICLR 2026 的论文《论扩散模型中分数平滑的插值效应》中，深入探讨了扩散模型背后的数学原理。研究表明，模型的创造力并非随机偶然，而是神经网络训练过程中自然产生的"平滑"效应所带来的必然结果。

扩散模型的工作原理

训练扩散模型的过程，首先是将真实训练数据样本（例如猫的照片）逐步加入噪声，直至完全无法辨认，然后训练模型逐步逆转这一过程，从纯噪声中重建出逼真的图像，这一过程称为"去噪"。

如果模型仅依据训练样本完美地学会去噪，那么它在部署时应该只会原样复现训练数据，这种行为称为"记忆化"。在这种情况下，模型只是一个检索工具，而非能够生成新内容的创造引擎。

然而实际上，扩散模型通常不止于记忆，它们能够泛化并生成新的数据样本。

为了理解扩散模型如何进行去噪，可以把随机噪声想象成散布在房间里的气体粒子云，一个"力场"将每个粒子朝特定方向拉动，直到它们形成有意义的形状。在扩散模型中，运动的粒子是正在去噪的数据点，"力场"则是从训练数据中学习得到的"分数函数"，它决定粒子在每个时刻应流向何处。

如果模型依赖从训练数据中完美学得的分数函数，力场就会将粒子精确引导至训练数据点所在位置，从而产生记忆化现象。

创造力的数学根源

研究人员发现，扩散模型的创造力实际上源于神经网络的近似学习方式：由于正则化导致的不完美训练，学习到的分数函数会自然产生轻微模糊，这一过程称为"分数平滑"。这反过来使得去噪过程生成的数据在训练数据点之间进行插值，从而产生新颖且合理的数据样本。

以一个一维世界为例，假设只有两个训练数据点：+1 和 -1。在去噪过程的后期阶段，"完美"的分数函数在两点中间存在一个急剧的符号变化，意味着拉力方向在 0 附近发生骤然切换。整个空间几乎被锐利地一分为二：左侧粒子被拉向 -1，右侧粒子被拉向 +1，最终每个粒子都收敛到某个训练数据点，记忆化由此发生。

然而实际上，由于训练中权重衰减的正则化效应，神经网络很难学习具有这种陡峭变化的函数，而倾向于学习更平滑的版本，将陡峭的下降软化为更平缓的斜坡。

研究团队设计了一组实验，训练两层 ReLU 神经网络在一维示例中拟合分数函数，并在不同程度的权重衰减下使用 AdamW 算法进行优化。结果显示，权重衰减越强，学习到的分数函数在中间区域越平滑，该区域的粒子流动越慢，最终会停留在两个训练数据点之间的"插值区"。

论文中，研究人员通过将神经网络正则化的函数空间理论与去噪数学相结合，对这一关联进行了量化。实验还表明，即使没有权重衰减等显式正则化策略，基于梯度算法训练的神经网络所固有的隐式正则化效应，同样能够产生分数平滑现象。

高维空间中的流形恢复

在现实世界中，高分辨率图像等复杂数据存在于高维像素空间中，而非简单的一维世界。这个空间中绝大多数位置都只是随机噪声，对人眼而言毫无意义，只有极小一部分数据点对应可识别的图像，它们存在于所谓的"数据流形"上。

模型事先并不知道数据流形的形状与位置，因此图像生成本质上是一项流形恢复任务：模型需要根据有限数量的训练样本推断隐藏数据流形的形态，并在流形上找到新的点，以生成新颖且有意义的图像。

研究发现，分数平滑在多维空间中的效果具有方向依赖性。沿平行于（或"切向于"）隐藏数据流形的方向，它产生与一维情形相似的减速效应；但沿指向流形的方向，"完美"的分数函数本身已经相对平滑，进一步平滑影响甚微。

因此，分数平滑并不在所有方向上都给粒子"踩刹车"（这样会导致粒子滞留在有噪声的空白空间，最终图像模糊），而是只减弱粒子沿切向方向向训练数据塌缩的趋势，同时不影响粒子向流形运动的速度。如此一来，模型在质量与新颖性之间取得平衡：生成的图像既真实自然（因为成功抵达了有意义的数据流形），又具有独创性（因为它们落在了原始训练数据点之间的空白区域）。

对未来研究的启示

上述发现表明，扩散模型所谓的"创造力"实际上可能是一种可预测的数学结果。由于神经网络从不会学习到"完美"锐利的函数，它们在已知数据之间架起了插值的桥梁。在图像生成或药物发现领域，这意味着扩散模型不只是记住了两张不同的猫的图像或两种药物分子，而是探索它们周围的空间，生成融合两者特征的全新图像或分子构型。

这项工作仅是阐明这一机制的初步尝试，当数据分布或神经网络架构变得更加复杂时，相应情形仍有待深入研究。但通过揭示这一行为从根本上源于神经网络的学习方式，研究人员已经可以开始有意识地构建更优秀的"插值器"模型，确保它们保持创造性的同时，避免陷入盲目记忆的误区。

Q&A

Q1：扩散模型的创造力是怎么来的？

A：扩散模型的创造力并非随机偶然，而是神经网络训练过程中正则化效应导致"分数平滑"的结果。由于权重衰减等正则化手段，神经网络无法学习完美锐利的分数函数，只能学习更平滑的近似版本，这使得去噪过程中数据点会落在训练样本之间的插值区域，从而生成新颖的内容，而不是简单复现训练数据。

Q2：扩散模型中的"分数函数"是什么？它有什么作用？

A：分数函数是扩散模型去噪过程中的核心"力场"，它从训练数据中学习得到，决定每个数据点（粒子）在去噪过程中应流向何处。如果分数函数被完美学习，所有粒子最终会精确收敛到训练数据点，产生记忆化；而由于神经网络的近似学习，实际分数函数会被平滑，使粒子落在训练数据之间的插值位置，产生新的输出。

Q3：分数平滑在高维图像生成中是如何发挥作用的？

A：在高维空间中，真实图像只分布在被称为"数据流形"的低维结构上。分数平滑具有方向依赖性：沿流形切向方向，它减缓粒子向已有训练数据塌缩的速度，使生成结果落在训练样本之间的新位置；而沿垂直指向流形的方向，平滑影响较小，粒子仍能顺利抵达流形。这样模型既能生成真实自然的图像，又能保持创新性。