DeepSeek推出mHC架构提升AI模型性能

DeepSeek研究人员开发了一种名为流形约束超连接（mHC）的技术，能够提升人工智能模型的性能。

这家中国AI实验室于周三发布的论文中首次展示了该软件。

DeepSeek创建mHC是为了增强大语言模型用于学习新信息的残差连接机制。这种机制发明于2015年，也广泛应用于许多视觉模型中。DeepSeek并非首个尝试改进残差连接的公司，但此前的尝试结果喜忧参半。

AI模型的工作原理与架构

AI模型由众多被称为"层"的软件组件组成。当用户输入提示时，文本进入第一层，执行生成响应所需的一小部分计算。第一层将计算结果发送给第二层，第二层完成另一部分工作，将结果传递给第三层，以此类推。最后一层向用户输出答案。

最后一层在AI训练过程中发挥关键作用。如果模型输出错误的响应，最后一层会接收到所谓的梯度信号。梯度是一个表明AI犯错的信号，也包含了模型如何改进的信息。梯度进入最后一层，然后向后传播通过AI结构的其余部分，直到到达第一层。

残差连接的发展历程

2015年，研究人员发明了一种名为残差连接的梯度管理机制。这是一种快捷方式，使梯度能够直接在两个距离较远的AI层之间传播，而无需通过中间的所有层。残差连接缓解了几种常见的AI训练错误，这也是它们在大语言模型和视觉模型中被广泛使用的原因。

去年9月，研究人员推出了残差连接的替代方案——超连接。它解决了残差连接机制的几个不足，但也有自身的局限性。DeepSeek本周推出的mHC架构是超连接的增强实现版本，避免了后者相关的几个技术挑战，使其更适合生产使用。

mHC的核心创新

mHC的主要创新在于它融合了所谓的流形。流形是一个广泛的数学对象家族，复杂程度差异很大。一些流形是简单的几何形状如圆形，而另一些则跨越三维以上的空间。DeepSeek表示，mHC使用流形来维持梯度在AI模型各层之间传播时的稳定性。

性能测试与结果

该公司通过使用mHC架构训练了3个分别拥有30亿、90亿和270亿参数的大语言模型来测试这一架构。然后使用超连接技术训练了三个参数量相同的其他模型。据DeepSeek称，在八个不同的AI基准测试中，mHC驱动的大语言模型表现更佳。

该公司表示，这种架构在硬件效率方面也优于超连接。超连接机制显著增加了大语言模型在训练期间的内存需求。在内部测试中，DeepSeek确定mHC仅产生6.27%的硬件开销。

"通过深化对拓扑结构如何影响优化和表示学习的理解，mHC将有助于解决当前的局限性，并可能为下一代基础架构的演进照亮新的道路，"DeepSeek研究人员在mHC论文中写道。

Q&A

Q1：mHC架构是什么？它有什么优势？

A：mHC（流形约束超连接）是DeepSeek开发的AI架构技术，用于提升人工智能模型性能。它是超连接技术的增强版本，通过融合流形数学对象来维持梯度传播的稳定性，避免了超连接的技术挑战，更适合生产使用。

Q2：mHC相比其他技术表现如何？

A：在测试中，使用mHC架构训练的大语言模型在八个不同AI基准测试中均优于使用超连接技术训练的同等参数模型。此外，mHC在硬件效率方面也更优秀，仅产生6.27%的硬件开销，而超连接会显著增加内存需求。

Q3：残差连接和超连接是什么关系？

A：残差连接是2015年发明的梯度管理机制，允许梯度直接在距离较远的AI层间传播。超连接是去年9月推出的残差连接替代方案，解决了残差连接的一些不足但有自身局限。mHC则是超连接的增强实现版本。