内存受限设备上的视觉语言模型高效微调新方法

微调后的视觉语言模型在众多计算机视觉任务中展现出卓越性能。然而，反向传播作为微调过程中调整模型权重的标准方法，从输出误差开始反向计算，计算成本昂贵，在资源受限的边缘设备上难以实现。

一种替代方案是仅依赖前向传播的微调策略，这能显著降低计算需求。零阶估计是其中一种方法，但现有的基于零阶估计的视觉语言模型微调方法在准确性和收敛性方面仍远逊于基于反向传播的训练。

一个主要挑战是零阶估计的高方差，这可能导致从一批训练数据中得出的梯度估计（权重调整方向）不一致且充满噪声。这会导致训练动态不稳定，使模型难以收敛到最优解。此外，零阶估计倾向于局部搜索动态，意味着它可能困在局部最优但全局次优的损失景观区域。

在今年神经信息处理系统会议上发表的论文中，研究团队提出了SharpZO，这是一种混合锐度感知零阶优化方法，仅使用前向传播来微调视觉语言模型。SharpZO采用两阶段优化过程：第一阶段是全局探索阶段，使用进化策略平滑损失景观，构建强初始化；第二阶段是局部搜索阶段，使用零阶估计来抑制异常梯度估计。

在实验中，SharpZO将仅使用前向传播方法如ZIP和BlackVIP的准确率平均提高了7%，在多项任务中，其性能接近需要梯度反向传播的一阶方法CoOP。

损失景观的概念

给定模型和一组训练数据，模型的每个可能参数（权重和偏置）都可以映射到训练数据上相应的损失或误差，在高维空间中产生单个点。参数设置与损失的图形可以想象为具有峰值（高损失区域）和谷底（低损失区域）的景观。训练的目标是将参数设置引导到景观中最低谷的底部。

计算完整景观是不可行的，但给定特定位置（参数设置集），可以计算局部斜率方向（梯度）并推动损失下降。这就是反向传播的工作原理。

零阶估计是通过在景观中各个附近点采样损失来估计（而非计算）局部梯度的方法。但零阶估计的高方差使景观看起来比实际更加锯齿状或更尖锐，具有更多更高的峰值。这增加了优化算法困在局部最小值的几率，即损失实际上显著大于全局最小值的局部谷底。

研究方法是使用进化算法，特别是锐度感知协方差矩阵自适应进化策略，来平滑损失景观的锐度。然后使用略微修改的零阶算法找到全局最小值。

锐度感知协方差矩阵自适应进化策略

协方差矩阵自适应进化策略不仅估计局部梯度，还估计整个可能参数值集合上损失的分布。它还估计分布的协方差矩阵，这是描述参数值之间相关性的矩阵。分布的均值和协方差矩阵的值都在每轮训练后更新。

研究团队通过在损失函数中包含额外项来修改普通的协方差矩阵自适应进化策略方法，该项考虑了给定当前分布和协方差矩阵估计下模型可能产生的最坏损失。最小化这一项有助于平滑估计的损失景观。

应用协方差矩阵自适应进化策略后，使用修改的稀疏零阶算法进行更精细的局部搜索。传统稀疏零阶通过丢弃低幅度项来降低梯度估计的维度。研究团队通过根据梯度向量的均值和标准差对其进行归一化来修改这一过程，这再次有助于平滑损失景观。

实验结果

研究团队在11个不同的下游任务上使用具有各种骨干网络的CLIP模型评估了SharpZO。除了相比ZIP和BlackVIP等仅前向传播方法平均准确率提升7%，以及与CoOP竞争的性能外，该方法还实现了显著更快的收敛。例如，在ImageNet数据集上，SharpZO在15.3分钟内达到目标准确率，而ZIP需要19分钟，BlackVIP需要170分钟。

SharpZO不仅通过避免梯度存储减少了内存占用，还确保这种效率不以准确性为代价。研究还发现该方法对分布偏移具有鲁棒性，在分布外任务上表现优于基线方法，如识别素描图像或图像对抗样本。

目前，SharpZO针对提示调优进行了优化，其中可训练参数数量相对较小，扩展到完整模型微调仍是未来挑战。此外，锐度感知协方差矩阵自适应进化策略预热阶段需要坐标方向梯度估计，这在高维设置中可能计算成本昂贵。这使得SharpZO成为参数高效微调的合适候选。

Q&A

Q1：SharpZO是什么？它解决了什么问题？

A：SharpZO是一种混合锐度感知零阶优化方法，专门用于在内存受限设备上微调视觉语言模型。它解决了传统反向传播方法计算成本高昂，以及现有零阶估计方法准确性和收敛性不足的问题，仅使用前向传播就能实现高效微调。

Q2：SharpZO相比其他方法有什么优势？

A：SharpZO在实验中将仅前向传播方法的准确率平均提高了7%，性能接近需要反向传播的CoOP方法。同时实现更快收敛，在ImageNet数据集上仅需15.3分钟达到目标准确率，远快于其他前向传播方法，还能减少内存占用并对分布偏移具有鲁棒性。

Q3：SharpZO的两阶段优化过程是如何工作的？

A：第一阶段是全局探索阶段，使用锐度感知协方差矩阵自适应进化策略来平滑损失景观，构建强初始化；第二阶段是局部搜索阶段，使用修改的稀疏零阶算法进行精细的局部搜索，通过梯度向量归一化进一步平滑损失景观。