MegaFS作为大规模人脸识别训练框架，在接入千万级身份类别与深层骨干网络后，显存占用会迅速突破单张显卡的上限。很多用户在跑标准训练脚本时，还没等到第一个反向传播就收到CUDA out of memory提示。要解决这个问题，工程上主要依赖梯度检查点与模型并行两类手段，它们从不同的维度压缩显存峰值。
一、MegaFS为什么容易显存不足
MegaFS的显存压力主要来自两个方面。其一是骨干网络本身，例如基于Transformer或大型卷积结构的人脸特征提取器，在batch size稍大时就会缓存大量中间激活值；其二是分类层，当身份类别达到百万甚至千万规模，全连接层的权重矩阵会占据数GB显存，并且计算logits时还需临时保存对应激活。
在混合精度训练下，虽然权重可用FP16存储，但梯度、优化器状态以及部分前向激活仍保留较高精度，整体收益有限。如果直接减小batch size，又会让类别层负样本采样不充分，影响收敛效果。因此单纯靠调小批次并不能根本解决问题，必须引入系统化显存优化策略。
二、梯度检查点原理与用法
梯度检查点（Gradient Checkpointing）核心思路是用计算换显存。常规训练会把前向传播的所有中间结果都留着给反向用，而检查点技术只保存少数层边界处的输出，其余部分在反向需要时重新前向计算一遍。这样显存占用从线性增长变成近似常数级别。
在MegaFS里开启梯度检查点，通常要在模型定义处包裹特定函数，比如对骨干网络分段设置checkpoint段。实际使用中，训练时间会增加大约百分之二十到三十，但显存峰值可下降一半以上。对于显存卡在临界值的用户，这是成本最低的方案。
需要注意的是，检查点不能盲目包裹全部层。如果段切得太细，重计算次数过多，速度损耗会远超显存收益；切得太粗，则节省不明显。经验上按残差块或stage为单位设置较为平衡，同时配合激活重算开关，能在不同显卡上灵活调整。
梯度检查点配置参考
| 切分粒度 | 显存节省 | 速度影响 |
|---|---|---|
| 按stage | 高 | 中等 |
| 按block | 极高 | 较大 |
| 不开启 | 无 | 基准 |
三、模型并行拆解策略
模型并行（Model Parallelism）是把模型的不同部分放到不同设备上。对MegaFS而言，最自然的切法是把巨大分类层单独放到一张或几张卡上，骨干网络放在另一张卡。前向时骨干算出特征再传去分类卡算损失，反向时梯度回传跨越设备。
这种切分能直接削掉最肥的那块显存占用。比如原先分类层占六GB，拆到两张卡各担三GB，主卡立刻宽松。MegaFS官方例子中常用torch.nn.parallel里的基础并行包装，或者手动把层to到指定device。相对数据并行，模型并行通信量小，但要求用户对设备间张量流动有清晰控制。
当显卡数量更多，还可把骨干也纵向切开，例如前几层放卡一，后几层放卡二。不过这样会增加频繁跨卡传输，带宽不足时反而慢。所以一般推荐优先把分类层剥离，骨干尽量留在单卡并用检查点兜底。
模型并行常见切分方式
- 分类层独立卡：实现简单，显存收益直观
- 骨干纵向切：适合超深网络，但通信开销上升
- 优化器状态分片：结合Zero思路进一步压显存
四、两者组合与实操建议
梯度检查点和模型并行并不冲突，反而经常一起用。典型组合是：骨干网络开检查点压激活，分类层做模型并行分卡。这样单卡既不用存全部激活，也不用扛全分类权重，训练百万类别模型也能在消费级显卡上跑起来。
落地时建议先开模型并行把分类层搬走，观察显存曲线；若仍溢出，再叠加梯度检查点。调batch size以显存占用百分之八十为安全线。另外注意框架版本，部分旧版MegaFS对跨卡梯度同步有bug，升级或打补丁后更稳定。
显存优化没有万能药，按硬件条件和数据规模选组合，才能兼顾速度与可行。
通过上述方式，MegaFS显存不足不再是不可逾越的障碍。用户只需理清模型结构瓶颈，逐步引入检查点与并行，便能稳妥推进大规模人脸识别训练任务。