LoRA微调的目标是用极少参数适配下游任务，但参数少不代表不会过拟合。当训练数据只有几百条甚至几十条时，低秩矩阵会迅速记住样本中的噪声和固定表达，验证集指标不升反降。要抑制这类过拟合，Dropout与权重衰减是成本最低、实现最直接的两个正则化手段。不过二者在LoRA场景下的作用位置与调参方式，与全参微调并不完全相同。如果只是把学习率调低，往往只能让过拟合来得更晚，而不能从参数约束上改善泛化能力。
一、LoRA为什么容易过拟合
LoRA把权重更新限制在低秩空间，假设下游任务适配可以被低秩矩阵表示。这种设计确实大幅减少了可训练参数，但低秩约束本身是一种归纳偏置，并不等同于抗过拟合。当r设置过大、数据量太小时，低秩空间仍然有足够自由度去拟合噪声。尤其是A矩阵随机初始化、B矩阵零初始化的结构，训练初期更新集中在少数方向，后期容易对困难样本形成尖锐的决策边界。
可训练参数少意味着每个参数的梯度信号更集中，训练集损失下降很快，但验证集波动会变大。LoRA的alpha缩放主要调节LoRA输出对原始权重的扰动大小，它和学习率有协同关系，不能当成正则化参数。真正能抑制过拟合的是Dropout对隐状态的随机丢弃，以及权重衰减对低秩矩阵范数的约束。如果训练loss持续低于eval loss，生成结果在训练模板上重复性很高，但在未见过指令上泛化很差，就说明LoRA层已经过度拟合了。
二、Dropout在LoRA中的位置与配置
PEFT中的lora_dropout参数并不是丢弃A或B矩阵里的元素，而是在低秩适配器的输入hidden states上施加dropout。每次前向传播会随机把一部分输入维度置零，阻止适配器过度依赖某些固定特征组合。有些自定义实现还会在LoRA输出侧再加Dropout，称为output dropout，但PEFT标准参数lora_dropout属于输入侧dropout。如果使用自定义LoRA层，也可以在输出处叠加nn.Dropout，但要注意训练和推理阶段的行为切换。
参数设置上，lora_dropout=0.0是默认值，适合数据量较大或轻微过拟合的场景。小样本指令微调可以从0.1起步，如果验证损失仍然很早就回升，可以尝试0.2到0.3。一般不建议超过0.4，否则适配器学习能力会被严重削弱，导致欠拟合。实验时可以固定r=8、alpha=16，逐步增加dropout，观察eval_loss最低点位置。下面是一个PEFT配置示例。
from peft import LoraConfig, get_peft_model, TaskType
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("your-base-model-path")
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["q_proj", "v_proj"],
lora_dropout=0.1,
bias="none",
task_type=TaskType.CAUSAL_LM,
)
model = get_peft_model(model, lora_config)
Dropout与r也有联动关系。r越大，低秩矩阵容量越高，dropout可以相应提高；r较小时，dropout应设得低一些，否则有效信息会过少。另外Dropout对batch size敏感，小batch训练时每个step的随机性已经较大，此时可适当降低dropout，避免优化过程过于震荡。
三、权重衰减设置：LoRA层与基础模型要分开
权重衰减在LoRA场景下的作用对象需要先厘清。基础模型参数通常被冻结，不参与梯度更新，自然不需要权重衰减。真正可训练的参数只有LoRA的A、B矩阵，以及可能的bias或分类头。因此在Hugging Face Trainer中直接设置weight_decay=0.05通常是可行的，因为requires_grad为True的几乎都是LoRA参数。但如果项目中解冻了部分bias，或者单独训练了分类头，就建议自定义优化器分组，避免对bias施加衰减。
更稳妥的做法是手动构建参数分组，对有权重衰减需求的主体参数和bias分别设置。以下代码演示了如何只对LoRA矩阵和分类头权重施加衰减，而让bias保持无衰减。
import torch
decay_params = []
bias_params = []
for name, param in model.named_parameters():
if not param.requires_grad:
continue
if "bias" in name:
bias_params.append(param)
else:
decay_params.append(param)
optimizer = torch.optim.AdamW(
[
{"params": decay_params, "weight_decay": 0.05},
{"params": bias_params, "weight_decay": 0.0},
],
lr=2e-4,
)
LoRA低秩矩阵使用AdamW时，weight_decay可取0.01到0.1。0.01是温和约束，适合数据量尚可的情况；0.05是常用起点；0.1适合强过拟合场景。权重衰减和Dropout并不是完全正交的，高Dropout已经提供了较强随机扰动，此时可以适当降低weight decay，避免双重正则导致模型欠拟合。同时要保证训练步数足够，否则模型还没收敛就被衰减拉向零，效果反而会变差。
四、联合调参与过拟合监控
抑制LoRA过拟合不能靠单一参数硬调，需要结合验证指标做联合判断。建议在训练中设置小规模验证集，每隔50到100步评估一次，关注eval_loss、准确率或生成多样性。Hugging Face Trainer中可以开启load_best_model_at_end=True，并将metric_for_best_model设为eval_loss，这样训练结束后会自动加载验证损失最低的模型，而不是最后一个epoch的模型。
调参顺序上，建议先固定weight_decay=0、dropout=0跑通基线；然后只加dropout，从0.1试到0.2；再独立加weight_decay，从0.01试到0.05；最后组合两个较优值做微调。例如在小型指令集上，r=8、alpha=16、lora_dropout=0.15、weight_decay=0.03、学习率2e-4通常能获得更稳定的验证曲线。不要对冻结的基础模型参数设置权重衰减，也不要使用过大的全局学习率。LoRA层学习率可以略高，但如果基础模型没有完全冻结，则需要使用极低学习率，否则过拟合会更难控制。
实际项目中推荐使用PEFT官方实现来构建LoRA层，避免自己改写前向逻辑时把Dropout位置弄错。只要把Dropout输入侧位置、优化器分组、验证集监控三件事做好，LoRA在小样本微调中的过拟合问题就能得到明显缓解。