在机器学习项目落地过程中，模型学习效率低往往表现为：标注数据不足时训练难以收敛、训练周期过长、新任务需要从零开始搭建模型。单纯增加数据或堆叠网络深度并不总是可行，示范学习与迁移学习提供了两条更经济的路径。示范学习让模型直接模仿专家行为，省去大量试错；迁移学习则把相似任务学到的通用知识复用到当前任务，降低对样本数量的依赖。两者可以单独使用，也可以组合成更高效的训练管线。
一、示范学习：通过专家轨迹降低探索成本
行为克隆的基本流程
行为克隆是示范学习中最直接的形式。它会收集专家在特定状态下采取的动作序列，构成状态-动作对数据集，然后通过监督学习训练一个策略网络。与强化学习不同，行为克隆不需要定义复杂的奖励函数，也不需要让智能体在环境中进行大量随机探索。模型只需学会在给定状态下输出接近专家的动作，因此训练过程稳定，收敛速度更快。
以一个简单的自动驾驶车道保持任务为例，专家驾驶数据记录了车辆前向摄像头图像和对应的方向盘转角。策略网络接收图像，输出归一化后的转角值。损失函数使用均方误差衡量预测转角与专家转角之间的差距。训练时使用Adam优化器，通常设置较小的学习率，例如1e-4，以避免过拟合专家轨迹中的噪声。
import torch
import torch.nn as nn
import torch.optim as optim
class PolicyNet(nn.Module):
def __init__(self):
super().__init__()
self.conv = nn.Sequential(
nn.Conv2d(3, 16, 3, stride=2),
nn.ReLU(),
nn.Conv2d(16, 32, 3, stride=2),
nn.ReLU(),
nn.AdaptiveAvgPool2d(1)
)
self.fc = nn.Sequential(
nn.Linear(32, 64),
nn.ReLU(),
nn.Linear(64, 1)
)
def forward(self, x):
x = self.conv(x).flatten(1)
return self.fc(x)
model = PolicyNet()
optimizer = optim.Adam(model.parameters(), lr=1e-4)
criterion = nn.MSELoss()
# expert_states 和 expert_actions 为专家演示数据
for epoch in range(50):
optimizer.zero_grad()
pred_actions = model(expert_states)
loss = criterion(pred_actions, expert_actions)
loss.backward()
optimizer.step()
if epoch % 10 == 0:
print(f'Epoch {epoch}, Loss {loss.item():.4f}')
复合误差与分布漂移
行为克隆虽然简单高效，但有一个明显缺点：训练数据来自专家状态分布，而模型在推理时可能进入训练分布之外的状态。一旦预测动作与专家演示出现微小偏差，车辆位置就会逐渐偏离安全轨迹，后续观测到的状态越来越陌生，误差被不断放大。这种现象称为复合误差，最终可能导致策略失效。
缓解复合误差的方法包括使用数据集聚合DAgger，让模型在训练过程中与环境交互，把遇到的新状态交给专家标注，再补充到训练集中。另一种思路是使用逆强化学习，先根据专家轨迹推断奖励函数，再用强化学习优化策略。不过这些方法会增加训练复杂度，工程实现上需要权衡。
二、迁移学习：复用预训练表示减少数据依赖
为什么预训练特征能加速收敛
迁移学习的核心假设是：不同任务之间可能存在通用的低层特征。例如图像分类任务中的边缘、纹理、形状等特征，在自然图像理解中具有普遍性。深度网络的前几层通常会学到这些通用表示，而高层特征才逐渐偏向特定任务。因此，可以把在大规模数据集上训练好的网络作为特征提取器或初始化权重，只对目标任务进行微调。
相比随机初始化，迁移学习在目标样本较少时优势非常明显。以ResNet-50为例，在ImageNet上预训练后，其卷积层已经具备强大的视觉特征提取能力。迁移到医疗影像分类时，只需要替换最后的全连接层，并用较小的学习率微调部分卷积层。这样不仅缩短训练时间，还能显著提高小样本条件下的准确率。
下面是一段PyTorch代码，用于加载预训练ResNet-50，修改分类层并进行训练。关键步骤包括设置requires_grad为False冻结部分层，以及为新分类层设置更高的学习率。
import torch
import torch.nn as nn
import torchvision.models as models
model = models.resnet50(weights=models.ResNet50_Weights.IMAGENET1K_V2)
# 冻结卷积层参数
for param in model.parameters():
param.requires_grad = False
# 替换分类层
num_classes = 10
model.fc = nn.Sequential(
nn.Linear(2048, 512),
nn.ReLU(),
nn.Dropout(0.3),
nn.Linear(512, num_classes)
)
# 只优化分类层参数
optimizer = torch.optim.Adam(model.fc.parameters(), lr=1e-3)
criterion = nn.CrossEntropyLoss()
for epoch in range(20):
for images, labels in train_loader:
optimizer.zero_grad()
outputs = model(images)
loss = criterion(outputs, labels)
loss.backward()
optimizer.step()
print(f'Epoch {epoch} completed')
微调策略：冻结与学习率分层
迁移学习的效果高度依赖于微调策略。如果目标数据集规模很小，通常只训练最后的分类层，保持特征提取器不变，以避免过拟合。当目标数据集规模较大时，可以解冻部分高层卷积层，让网络更好地适应目标领域。常见做法是使用分层学习率：浅层使用较小的学习率或不更新，深层使用较大的学习率。
一个容易被忽视的问题是源任务与目标任务之间的领域差距。如果源数据是自然图像，而目标数据是遥感影像或医学影像，直接微调可能效果有限。此时需要在预训练模型后添加领域自适应模块，或者先使用目标领域无标签数据进行自监督预训练，再进行有监督微调。迁移学习不是万能的，它依赖任务间的相似性。
三、示范学习与迁移学习的组合实践
从专家演示到预训练初始化
在实际项目中，示范学习和迁移学习可以形成互补。示范学习提供了任务相关的行为信号，但往往面临数据量少、状态覆盖不足的问题。迁移学习则可以提供强大的感知能力或表示基础，减少示范数据中噪声对模型的影响。一个典型的组合流程是：先使用迁移学习初始化策略网络的特征提取部分，再使用专家演示数据训练策略输出层；或者先用示范数据训练一个初步策略，再将其迁移到相似任务中继续微调。
例如在机器人抓取任务中，可以使用在ImageNet上预训练的卷积网络作为视觉编码器，提取工作台图像特征；然后将特征输入策略网络，使用少量专家抓取轨迹进行行为克隆。这样模型不需要从零学习视觉表示，可以将有限的演示数据集中在决策部分。相比单纯行为克隆，这种方式在演示数据只有几十条时也能获得可用的策略。
import torch
import torch.nn as nn
import torchvision.models as models
class ImitationPolicy(nn.Module):
def __init__(self, num_actions=6):
super().__init__()
backbone = models.resnet18(weights=models.ResNet18_Weights.IMAGENET1K_V1)
self.encoder = nn.Sequential(*list(backbone.children())[:-1])
self.policy_head = nn.Sequential(
nn.Flatten(),
nn.Linear(512, 128),
nn.ReLU(),
nn.Linear(128, num_actions),
nn.Tanh()
)
def forward(self, x):
features = self.encoder(x)
return self.policy_head(features)
# 冻结编码器，只训练输出层
model = ImitationPolicy(num_actions=6)
for param in model.encoder.parameters():
param.requires_grad = False
optimizer = torch.optim.Adam(model.policy_head.parameters(), lr=1e-3)
criterion = nn.MSELoss()
for epoch in range(100):
for states, expert_actions in demo_loader:
optimizer.zero_grad()
pred = model(states)
loss = criterion(pred, expert_actions)
loss.backward()
optimizer.step()
训练流程设计与数据质量
组合方案的成功关键在于数据质量和训练流程设计。示范数据应尽量覆盖任务状态空间的多样性，避免只采集单一成功路径。如果演示数据存在偏差，策略会学到错误的相关性。例如机器人抓取中，如果所有演示都在明亮环境下采集，模型可能将亮度当作判断抓取点的依据，而在昏暗环境下失效。因此采集示范时需要引入光照、位置、物体姿态等变化。
此外，迁移学习的预训练权重来源也需要评估。有些开发者习惯直接使用公开预训练模型，但公开模型的训练数据可能与目标任务差异较大。此时可以先在中间数据集上做一次过渡微调，再迁移到最终任务。这种多阶段迁移虽然增加了工作量，但对最终效果提升明显。训练过程中还应监控验证集损失和策略成功率，及时调整学习率或冻结策略。
四、常见误区与调优建议
误区一：示范数据越多越好
示范数据的价值不仅体现在数量上，更体现在覆盖度和质量上。大量重复的成功轨迹对模型帮助有限，反而会增加训练时间，甚至让模型对某些常见状态过拟合。相比之下，少量但包含边界情况、失败恢复动作的专家数据更有价值。如果条件允许，可以在采集示范时主动加入干扰或随机变化，使策略学会鲁棒地应对不同状况。
因此，在项目实施前应定义清晰的数据采集规范，而不是盲目追求数据规模。先分析任务的关键状态变量和动作空间，再决定采集哪些演示片段。对于连续控制任务，还可以对示范数据进行降采样和轨迹平滑，减少噪声影响。
误区二：预训练模型一定有效
迁移学习的效果依赖任务相似度。如果源任务与目标任务几乎无关，迁移学习可能带来负迁移，即模型表现反而不如随机初始化。例如使用自然图像预训练的网络迁移到雷达信号分类，低层特征可能不具备通用性。此时应谨慎评估预训练模型的适用性，必要时使用目标领域无标签数据进行自监督预训练。
另外，迁移学习并不等于完全不用目标数据。即便使用预训练模型，仍然需要一定量的目标样本来调整高层表示。目标样本过少时，可以采用数据增强、正则化和交叉验证等方法来稳定训练。实验时最好对比随机初始化和预训练初始化的性能曲线，确认迁移确实带来收益。
调优建议汇总
- 行为克隆训练时使用验证集早停，避免过拟合专家轨迹。
- 迁移学习采用分层学习率，浅层小学习率，深层大学习率。
- 组合方案中先冻结编码器训练策略头，再逐步解冻部分层。
- 监控复合误差，若策略在环境中表现持续下降，考虑引入DAgger或逆强化学习。
- 保持示范数据多样性，覆盖边界情况和异常状态。
总结来说，示范学习和迁移学习分别从行为和表示两个角度降低模型对海量标注和试错搜索的依赖。将两者结合，可以在小样本场景下快速搭建可用模型。但实际落地时需要关注数据分布、任务相似性和微调策略，避免方法滥用带来的负效果。合理设计训练流程，才能真正解决学习效率低的问题。