在参数高效微调领域，LoRA（Low-Rank Adaptation）已经成为一种广泛采用的基线方法。它通过冻结预训练权重，并引入两个低秩矩阵的乘积来近似权重更新，从而将可训练参数量大幅降低。然而，LoRA在更新时实际上将权重的幅度（magnitude）和方向（direction）耦合在一起进行处理，这在一定程度上限制了微调的灵活性和表达能力。DoRA（Weight-Decomposed Low-Rank Adaptation）的提出正是为了解耦这两个因素，通过显式地将预训练权重分解为幅度向量和方向矩阵，并分别采用不同的策略进行微调，从而在保持参数高效的同时获得更好的性能。
本文将围绕DoRA的数学原理、与LoRA的对比分析以及具体实现细节展开。首先介绍DoRA如何将权重分解为幅度与方向，并解释这种分解带来的优势；接着对比DoRA与LoRA在参数效率、表达能力和实际效果上的差异；最后给出一个完整的PyTorch实现示例，帮助读者快速上手。
DoRA的数学原理：解耦幅度与方向
在标准的LoRA中，对于一个预训练权重矩阵W（形状为d_out × d_in），微调时保持W冻结，并引入两个低秩矩阵A和B，其中A的形状为r × d_in，B的形状为d_out × r，且秩r远小于min(d_out, d_in)。微调后的权重表示为W' = W + α·B·A，其中α是缩放因子。这种形式没有区分方向与幅度的变化，B·A的每一项同时影响权重的方向和长度。
DoRA的做法则不同。它将原始权重矩阵W按行（每个输出神经元）分解为幅度和方向两部分。具体来说，对于W的每一行向量w_i（维度为d_in），定义其幅度为m_i = ||w_i||₂（L2范数），方向为v_i = w_i / m_i，即单位方向向量。将所有这些行向量组织起来，得到幅度向量m（形状为d_out）和方向矩阵V（形状为d_out × d_in），其中V的每一行都是单位向量。于是原始权重可以表示为W = diag(m) · V，其中diag(m)是以m为对角元素的对角矩阵。
在微调时，DoRA将幅度向量m设为可训练参数，直接通过梯度下降进行更新；而方向矩阵V则保持冻结，并通过类似LoRA的低秩更新ΔV = B·A来调整。最终微调后的权重为W' = diag(m + Δm) · (V + ΔV) / ||V + ΔV||（注意这里方向矩阵需要重新归一化，以确保每一行仍是单位向量）。这种设计使得幅度的调整与方向的调整相互独立，模型可以分别学习“权重应该放大或缩小多少”以及“权重应该朝哪个方向变化”。
从优化的角度看，解耦幅度与方向带来了更稳定的训练过程。幅度通常决定了特征的重要性或激活尺度，而方向决定了特征之间的组合方式。让两者分别学习，可以避免在低秩约束下幅度与方向更新互相干扰，从而提升微调效率和最终性能。DoRA的论文实验也表明，在相同可训练参数量下，DoRA在多个下游任务上优于LoRA，并且对学习率等超参数更鲁棒。
DoRA与LoRA的对比分析
参数效率方面，DoRA相比LoRA额外引入了一个可训练的幅度向量m，参数量增加了d_out（即输出维度的大小）。对于大型模型（如LLaMA、Qwen等），d_out通常为4096或更高，但相比LoRA的低秩矩阵（参数量为r × (d_in + d_out)）而言，增加的幅度向量参数量占比很小，仍然处于参数高效范畴。例如，当r=16、d_in=d_out=4096时，LoRA参数量约为16×(4096+4096)=131k，而DoRA仅增加4096个参数，几乎可以忽略不计。因此DoRA在参数效率上并未牺牲太多，仍适合在资源受限场景下使用。
表达能力上，DoRA的解耦设计允许模型在微调时独立控制权重的长度和方向，这比LoRA的单一低秩更新更加灵活。举一个直观的例子：在情感分类任务中，某些特征（如“not”）的权重幅度可能需要在微调后大幅改变，而方向基本不变；另一些特征则需要方向上的旋转。LoRA必须同时调整B·A来同时影响两者，可能导致幅度变化过度或方向变化不足。而DoRA可以分别处理：幅度向量直接学习缩放，方向矩阵通过低秩更新学习旋转，从而更精准地适应任务需求。
实验效果上，DoRA在原论文中报告了在常识推理、自然语言理解等基准上的提升。例如，在LLaMA-7B上使用相同数量的可训练参数进行微调，DoRA在多数任务上比LoRA提高1-2个百分点准确率。此外，DoRA对学习率的敏感度更低，在较宽的学习率范围内都能保持稳定训练，这降低了实际调参的难度。一些后续工作也验证了DoRA的有效性，并将其思想扩展到了其他适配器方法中。
DoRA的PyTorch实现与使用建议
下面给出一个简化的DoRA线性层实现，基于PyTorch。该实现将原始nn.Linear替换为支持幅度与方向分离的适配层。代码中，m为幅度向量，使用nn.Parameter并初始化为原始权重的行范数；方向矩阵的低秩更新使用两个矩阵lora_A和lora_B，其中lora_A使用高斯初始化，lora_B初始化为零以保证初始时更新为零。在前向传播中，先计算方向更新后的矩阵并归一化，再乘以幅度向量。
import torch
import torch.nn as nn
import torch.nn.functional as F
class DoRALinear(nn.Module):
def __init__(self, in_features, out_features, rank=16, alpha=1.0, bias=False):
super().__init__()
self.in_features = in_features
self.out_features = out_features
self.rank = rank
self.alpha = alpha
# 原始权重冻结
self.weight = nn.Parameter(torch.empty(out_features, in_features))
nn.init.kaiming_uniform_(self.weight, a=5**0.5)
if bias:
self.bias = nn.Parameter(torch.zeros(out_features))
else:
self.register_parameter('bias', None)
# 冻结原始权重
self.weight.requires_grad = False
# 初始化幅度向量为原始权重的行范数
m_init = torch.norm(self.weight, dim=1, keepdim=False)
self.m = nn.Parameter(m_init.clone())
# 低秩矩阵
self.lora_A = nn.Parameter(torch.randn(rank, in_features) * 0.01)
self.lora_B = nn.Parameter(torch.zeros(out_features, rank))
def forward(self, x):
# 计算方向矩阵更新
base_weight = self.weight
delta_v = self.alpha / self.rank * (self.lora_B @ self.lora_A) # shape: out_features x in_features
v = base_weight + delta_v
# 对每一行进行归一化，得到单位方向向量
v_norm = torch.norm(v, dim=1, keepdim=True) + 1e-12
v = v / v_norm
# 应用幅度向量
weight = v * self.m.unsqueeze(1) # 广播乘法
return F.linear(x, weight, self.bias)
在实际使用中，只需要将模型中的nn.Linear层替换为DoRALinear，并保持其他训练流程不变即可。需要注意的是，幅度向量m的学习率通常可以设置得略小于低秩矩阵的学习率，因为幅度对尺度敏感。此外，由于方向矩阵每步都要进行归一化，计算开销略高于LoRA，但在现代GPU上这一额外开销可以忽略不计。对于大型模型（如7B以上），建议仅对注意力层的q、k、v、o投影应用DoRA，前馈层可继续使用LoRA或保持冻结，以进一步节省参数。
DoRA的出现为参数高效微调提供了新的思路：将权重的幅度与方向作为两个独立的自由度来调整，不仅提升了表现，还增强了对超参数的鲁棒性。读者可以在自己的任务中尝试DoRA，并根据需要调整秩r和缩放因子alpha，往往能以极小的参数代价获得稳定的性能提升。