大模型的参数量从几十亿攀升到几千亿，过拟合风险反而在某些场景下变得更加隐蔽：数据重复、训练轮次过多、微调数据偏少，都会让模型把训练集背下来，表现为生成内容重复、事实性下降、指令跟随能力退化。正则化技术就是应对这类问题的核心工具箱，它通过在训练过程中主动施加约束或扰动，换取模型更强的泛化能力。本文围绕大模型训练中最常用的几类正则化方法展开，覆盖从经典技术到现代结构设计的完整脉络。
Dropout家族：随机失活的进阶之路
Dropout是最经典的正则化手段，其思路是在训练时随机将一部分神经元的输出置零，迫使网络不依赖某些特定路径，相当于隐式地训练了指数级数量的子网络。推理时关闭Dropout并对激活值做缩放补偿，保证训练和推理的一致性。
在大模型时代，原始Dropout出现了一些变体。其中GPT-3采用的是标准Dropout，Llama系列在预训练阶段则完全没有使用Dropout，而是依靠海量数据的天然多样性来抑制过拟合。这种差异背后的逻辑是：当训练数据足够大且只跑一个epoch时，模型几乎没有过拟合的机会，Dropout反而可能拖慢收敛。而在指令微调阶段，数据量骤减且通常训练多个epoch，此时重新启用Dropout往往是必要的，Llama的官方微调配置就将Dropout设为0.1。
import torch import torch.nn as nn # 标准Dropout：随机置零并缩放 dropout = nn.Dropout(p=0.1) x = torch.randn(4, 512, 4096) out = dropout(x) # 训练模式下约10%的元素被置零，其余放大1/(1-0.1) # 训练与推理的模式切换 model.train() # 启用Dropout model.eval() # 关闭Dropout，直接透传
除了标准形式，注意力场景下还有一种注意力Dropout，即对注意力权重矩阵施加随机失活。它可以有效缓解注意力过度集中问题，但在现代大模型中使用频率不高，主要原因是注意力权重本身的归一化已经提供了相当的信息瓶颈，额外的扰动收益有限。另一个值得注意的变体是DropPath（随机深度），在残差分支上以一定概率跳过整个子层，只保留恒等映射，这种策略在视觉大模型和部分语言模型中被验证有效，尤其适合极深的网络结构。
权重衰减与优化器中的正则化
权重衰减通过在损失函数中加入对参数范数的惩罚项，抑制权重无限膨胀，让模型偏好更平滑的解。传统实现中它等价于L2正则化，但在Adam这类自适应优化器中，两者并不等价，因为自适应学习率会削弱L2惩罚的作用效果。这也是AdamW被提出的原因：将权重衰减从梯度计算中解耦出来，直接在参数更新步骤中按比例缩小权重，而非加入梯度。现代大模型几乎清一色使用AdamW或其变体，权重衰减系数通常在0.1到0.1之间取值，常见默认为0.1，或者对小模型取0.01。
import torch.optim as optim
# AdamW：解耦权重衰减
optimizer = optim.AdamW(
model.parameters(),
lr=3e-4,
betas=(0.9, 0.95),
weight_decay=0.1 # 权重衰减系数，预训练常见取值
)实践中有两个细节容易被忽视。第一，权重衰减通常不应作用于LayerNorm、偏置项和嵌入层，这些参数承担的是尺度与位置信息，衰减它们可能损害模型容量，主流训练框架都支持按参数组区分衰减策略。第二，权重衰减的取值与学习率调度存在交互：使用余弦退火时，衰减的有效强度随学习率下降而减弱，部分工作因此在调度末期降低衰减系数来保持正则化压力。
归一化结构中的正则化思想：RMSNorm与Pre-Norm
归一化层表面上是为了稳定训练，但其带来的隐式正则化效应同样重要。RMSNorm是LayerNorm的简化版本，去掉了均值中心化操作，只保留均方根缩放，计算量减少约四分之一，Llama系列全部采用RMSNorm替换LayerNorm，成为当前大模型的事实标准。
import torch
import torch.nn as nn
class RMSNorm(nn.Module):
def __init__(self, dim, eps=1e-6):
super().__init__()
self.weight = nn.Parameter(torch.ones(dim))
self.eps = eps
def forward(self, x):
# 只按均方根缩放，不做均值中心化
norm = torch.rsqrt(x.pow(2).mean(dim=-1, keepdim=True) + self.eps)
return x * norm * self.weight另一个关键设计是Pre-Norm与Post-Norm的选择。Post-Norm将归一化放在残差相加之后，原始Transformer采用的是这种结构，它对泛化有一定帮助，但深层训练不稳定，需要学习率预热。Pre-Norm将归一化放在子层之前，梯度可以无阻碍地沿残差主干回传，训练稳定性显著提升，GPT-2之后的主流大模型几乎都采用Pre-Norm。代价是有效深度下降，模型容量利用率略低，因此也有Sandwich Norm（子层前后都加归一化）这类折中方案出现。从正则化视角看，归一化限制了激活值的动态范围，天然约束了模型的表达上界，这种隐式约束让大模型在超大参数量下依然保持可训练性。
数据与标签层面的正则化技巧
除了模型结构和优化器，数据与监督信号层面同样有丰富的正则化手段。标签平滑将one-hot标签软化为分配少量概率给其他类别，防止模型对训练标签过度自信，在分类任务和早期的序列到序列训练中被广泛使用。需要注意的是，标签平滑在大模型时代更多出现在判别式任务的微调中，生成式预训练本身以交叉熵拟合整个词表分布，通常不使用标签平滑。
数据层面最直接的手段是控制数据质量与去重。大规模语料中的重复样本会显著加剧记忆效应，Falcon、Llama都采用MinHash等模糊去重算法将重复率压到很低水平。数据增强方面，反向翻译、同义改写、比例缩放上下文长度等方法可以在不增加真实数据的前提下扩充有效样本。此外，混合不同来源与任务的数据本身也带有正则化效果，指令微调中常混入一定比例的预训练语料，正是为了缓解小数据微调带来的能力遗忘，业界称之为数据回放。
总结来看，大模型的正则化是一个系统工程：预训练阶段依赖数据规模与去重，结构上依赖Pre-Norm与RMSNorm的稳定性，微调阶段则需要重新启用Dropout并仔细设置权重衰减。理解每种方法的适用边界，比盲目堆叠正则化技巧更重要，过强的约束同样会限制模型能力，找到平衡点才是关键。