把一个模型里学到的知识迁移到另一个模型，听起来像是科幻小说里的情节，但在深度学习领域，这件事早就有成熟的工程实践。无论是把一个庞大的教师模型压缩成轻量级学生模型，还是把旧任务的模型能力搬到新架构上，核心思路都是让新模型去模仿或继承旧模型的行为与表征。这篇文章系统梳理几种主流的记忆迁移方案，配以代码示例和踩坑经验，帮助你在实际项目中做出正确选择。
一、知识蒸馏：用软标签传递记忆
知识蒸馏是最经典的记忆迁移手段，最早由Hinton等人系统提出。它的基本假设是：模型在输出层产生的概率分布，比硬标签（one-hot编码）包含更丰富的信息。比如一张猫的图片，模型输出可能是“猫0.85、狗0.10、狐狸0.05”，这个软分布暗示了猫和狗在视觉特征上的相似性，这些“暗知识”正是教师模型记忆的精华。
蒸馏的关键在于温度参数T的设置。温度越高，softmax输出越平滑，非目标类别的信息被放大得越多；温度过低则接近原始输出，暗知识几乎丢失。实践中通常在2到10之间尝试，同时配合KL散度损失来衡量学生输出与教师输出的差异。
import torch
import torch.nn as nn
import torch.nn.functional as F
def distillation_loss(student_logits, teacher_logits, labels, T=4.0, alpha=0.7):
# 软标签损失：学生和教师在高温下的分布差异
soft_loss = F.kl_div(
F.log_softmax(student_logits / T, dim=1),
F.softmax(teacher_logits / T, dim=1),
reduction='batchmean'
) * (T * T)
# 硬标签损失：保证学生不偏离真实标签
hard_loss = F.cross_entropy(student_logits, labels)
return alpha * soft_loss + (1 - alpha) * hard_loss
这段代码体现了蒸馏的通用范式：总损失由软损失和硬损失加权组成。软损失负责传递教师的记忆，硬损失防止学生被教师的偏差带偏。权重的选择需要根据任务调整，如果教师模型本身准确率一般，硬损失权重要相应提高。
二、特征迁移：对齐中间层表征
如果两个模型结构差异较大，只在输出层做蒸馏往往不够。这时可以强制学生模型的中间层特征去逼近教师模型的对应层，这被称为特征蒸馏或中间层匹配。它的原理是：模型的记忆不仅存在于最终分类头，更分布在各层提取的特征图中。
实施时有两个难点。一是层对齐：教师和学生的层数通常不同，需要人为指定映射关系，比如把学生的第2、4、6层分别对齐到教师的第6、12、18层。二是维度匹配：两层特征维度不一致时，需要插入一个适配层做线性变换。
class StudentWithHint(nn.Module):
def __init__(self, backbone, feat_dims, teacher_dims):
super().__init__()
self.backbone = backbone
# 适配层：将学生特征维度映射到教师维度
self.adapters = nn.ModuleList([
nn.Linear(fd, td) for fd, td in zip(feat_dims, teacher_dims)
])
def forward(self, x, hint_layers=(2, 4)):
features = []
h = x
layer_count = 0
for block in self.backbone:
h = block(h)
if layer_count in hint_layers:
features.append(h)
layer_count += 1
return h, features
def feature_loss(student_feats, teacher_feats, adapters):
loss = 0
for sf, tf, adapter in zip(student_feats, teacher_feats, adapters):
loss += F.mse_loss(adapter(sf), tf.detach())
return loss
注意代码中的detach()调用，教师特征必须切断梯度，否则训练时会在教师网络上累积梯度，破坏其参数。另外特征匹配的层数不宜过多，两到三个关键层通常就能拿到大部分收益，层选多了反而会限制学生的表达能力，导致迁移后效果不如纯监督训练。
三、参数初始化迁移：最直接的记忆继承
当两个模型架构相同或高度相似时，最省事的迁移方式是直接加载旧模型权重作为新模型的初始点，再在目标任务上微调。这种方式相当于把旧模型的记忆原封不动地搬过来，新任务只需要学习增量部分。
它的局限同样明显：架构必须匹配，至少需要部分匹配。遇到结构不一致的情况，可以采取部分加载策略——只迁移名称和形状都匹配的参数，跳过不兼容的部分。加载后再用较小的学习率微调，避免破坏已迁移的记忆。
def partial_load(new_model, old_state_dict):
model_state = new_model.state_dict()
transferred = []
for name, param in old_state_dict.items():
if name in model_state and model_state[name].shape == param.shape:
model_state[name] = param
transferred.append(name)
new_model.load_state_dict(model_state)
print(f'成功迁移 {len(transferred)} 个参数张量')
return new_model
微调阶段建议使用分层学习率：靠近输入的层（提取通用特征的层）学习率设小，靠近输出的层学习率设大。这样底层通用记忆得以保留，顶层任务相关的记忆可以快速更新。如果新任务数据量很小，还可以冻结底层参数，只训练顶层，进一步防止过拟合。
四、方案选择与常见坑
三种方案并非互斥，实际项目中经常组合使用。架构相同的场景优先考虑参数初始化迁移，成本最低；需要压缩模型体积时用知识蒸馏；结构差异大且希望学生学到深层表征时叠加特征蒸馏。大模型时代还流行新一代蒸馏方式——用教师模型生成大量合成数据或问答对，让学生在这些数据上训练，这种方式对架构完全没有约束。
几个高频踩坑点值得提醒。第一，蒸馏时教师模型务必切换到eval()模式并配合torch.no_grad()，否则BatchNorm层的运行统计量会被意外更新，教师输出也会受dropout干扰而不稳定。第二，软硬损失的温度要与权重联动调整，温度升高时软损失的梯度尺度会变化，一般要乘以T的平方做补偿。第三，监控学生与教师的输出一致性，如果KL散度在训练中不降反升，说明学生容量不足或学习率过大，需要及时调整。
最后，迁移不是万能药。如果新旧任务的数据分布差异极大，强行迁移可能引入负迁移，效果不如从头训练。建议先做小规模实验验证迁移收益，确认有正向提升后再全量铺开，这是工程上最稳妥的做法。