FaceNet是人脸识别领域的经典方案，它通过 triplet loss 直接学习人脸图像的欧式距离度量，让同一个人的两张图片（anchor 和 positive）在 embedding 空间中靠近，让不同人的图片（anchor 和 negative）彼此远离。听起来很美好，但真正动手训练过的人大多会遇到同一个问题：损失曲线下降得极其缓慢，训练几万步之后 embedding 的区分度依然很差。这背后的罪魁祸首通常是两个：一是三元组采样方式不当，大量"太简单"或"太难"的样本对让梯度失去了有效信号；二是学习率设置不合理，配合 triplet loss 这种对超参极其敏感的损失函数时很容易翻车。本文围绕这两点展开，给出可落地的解决方案。
为什么随机采样会导致收敛慢
triplet loss 的公式为 L = max(0, d(a,p) - d(a,n) + margin)。要让损失为非零，必须存在 d(a,p) - d(a,n) + margin > 0 的情况，也就是 anchor 到 positive 的距离要大于 anchor 到 negative 的距离减去 margin。如果随机挑选三元组，随着训练推进，大部分三元组已经满足约束（损失为0），梯度直接归零，网络学不到任何东西；反过来，如果挑到的 negative 是极难样本（比如标注错误或者长相极其相似的另一个人），产生的梯度又会把模型带偏。
这个问题在训练初期尤其明显。刚开始网络输出的 embedding 接近随机分布，任意样本对的距离都差不多，此时随机采样的三元组要么全部违反约束，要么大量 violator，梯度噪声极大，损失曲线呈现出剧烈震荡而非平稳下降。FaceNet 原论文作者也承认，没有难样本挖掘的朴素 triplet loss 基本无法训练出可用的模型。
所以解决收敛慢的第一步，不是急着换网络结构，而是审视你的三元组生成策略。一个经验判断：如果每一步训练中损失为0的三元组占比超过一半，说明采样已经失效，网络正在做无用功。
难样本挖掘的三种策略与实现
难样本挖掘的核心思想是：每一步训练时，主动挑选那些"刚刚好"违反约束、能提供有效梯度的三元组。常见做法分为 offline mining 和 online mining 两大类。
offline mining 指每隔 N 步就用当前模型对全量数据做一次 embedding 计算，然后筛选出违反约束的三元组用于后续训练。它的优点是筛选质量高，缺点是需要频繁跑一遍推理，数据量大时开销惊人，而且筛选出的"难样本"会随着训练快速失效，需要不断刷新，工程上比较笨重。online mining 则在每个 batch 内部直接计算所有可能的三元组组合，实时挑选有效样本，batch_size 设为 64、每类采样 8 张图时，可以组合出上万个三元组，效率远高于 offline 方式，也是目前的主流选择。
以 PyTorch 生态中广泛使用的 pytorch-metric-learning 库为例，online semi-hard mining 的实现只需要几行配置：
from pytorch_metric_learning import losses, miners # semi-hard miner：只挑 d(a,n) > d(a,p) 但又没有违反 margin 的负样本 miner = miners.MultiSimilarityMiner() # triplet loss，margin 设为 0.1 到 0.5 之间 loss_func = losses.TripletMarginLoss(margin=0.2) # 训练循环中 embeddings = model(images) # 输出归一化后的 embedding hard_pairs = miner(embeddings, labels) loss = loss_func(embeddings, labels, hard_pairs) loss.backward()
所谓 semi-hard negative，指的是满足 d(a,p) < d(a,n) < d(a,p) + margin 的负样本：它比正样本远（不算简单样本），但又没有违反约束到产生巨大梯度噪音的程度（不算 hardest 样本）。这种"中等难度"的负样本提供的信息量最大，是 FaceNet 原论文中采用的标准策略。如果直接挑 hardest negative（离 anchor 最近的负样本），训练后期容易陷入自我强化：模型把某几个样本推得很远后，这些样本反复被选中，embedding 空间出现塌缩或震荡。
另一个容易被忽视的细节是 embedding 归一化。计算 triplet loss 之前一定要把输出向量 L2 归一化，否则距离尺度不受控，margin 的含义会随训练漂移，收敛速度大打折扣。
学习率如何配合难样本挖掘调优
引入难样本挖掘后，梯度信号比随机采样强得多，此时如果学习率还沿用旧值，很容易发散。推荐的做法是 warmup 加衰减：前几百到几千步从很小的学习率线性升到峰值，让模型先建立基本的 embedding 结构；随后用余弦衰减或指数衰减缓慢降温，帮模型在后期精细调整。
import torch
from torch.optim.lr_scheduler import OneCycleLR
optimizer = torch.optim.Adam(model.parameters(), lr=1e-4)
scheduler = OneCycleLR(
optimizer,
max_lr=1e-3, # 峰值学习率
total_steps=50000,
pct_start=0.1, # 前 10% 步数用于 warmup
anneal_strategy='cos' # 余弦退火
)
for step, (images, labels) in enumerate(loader):
loss = train_one_step(model, images, labels, miner, loss_func)
optimizer.zero_grad()
loss.backward()
optimizer.step()
scheduler.step()
峰值学习率的选取和 batch size 强相关。online mining 依赖 batch 内的样本多样性，batch 越大，能挖到的难样本越丰富，梯度估计越准，相应地可以承受稍大的学习率。经验上 batch_size=32 时峰值学习率取 1e-4 量级，batch_size=128 以上可以尝试 5e-4 到 1e-3，配合 warmup 使用。margin 与学习率也存在联动：margin 越大，损失对距离差异越敏感，学习率应适当调小，否则初期梯度会过于激进。
还有一条实用建议：如果条件允许，用 ArcFace 这类基于角度间隔的损失替代原始 triplet loss，配合固定的类中心结构，收敛速度和最终精度通常都更好。triplet loss 加难样本挖掘的方案胜在实现简单、对标注要求宽松，适合作为基线快速搭建；在数据规整、类别数充足的场景下，再考虑迁移到更现代的度量学习损失。
一套可直接套用的参数组合
综合上面的分析，给出一组在多个人脸数据集上验证过收敛较稳的起始参数：backbone 用 ResNet50 或 MobileNet 均可，embedding 维度 128 并做 L2 归一化；batch_size 取 64 到 128，每个身份采样 4 到 8 张；miner 用 MultiSimilarityMiner 或原版 semi-hard 策略；triplet margin 取 0.2；优化器 Adam，峰值学习率 5e-4，OneCycle 调度，pct_start 设 0.1。按这套参数起步，通常几千步之内就能看到损失明显下降的趋势，之后根据验证集上的 recall 指标微调 margin 和峰值学习率即可。
最后提醒一点：判断收敛是否正常，不要只看损失数值，要定期在验证集上画 embedding 的 t-SNE 图或者计算 ROC 曲线。triplet loss 的绝对值和最终识别效果不是线性关系，损失降得慢但 embedding 结构在变好的情况也不少见，用下游指标做决策才更可靠。