固定深度的卷积网络或Transformer在处理一批样本时，无论输入是一张纯色背景的猫，还是充满遮挡和噪声的复杂场景，都会执行完全相同的层序列和乘法次数。这种设计保证了计算图静态可预测，但也意味着大量简单样本被过度计算。动态神经网络尝试把“是否继续计算”变成网络自身可学习的决策，让推理路径与输入复杂度对齐。
一、统一深度为什么低效
固定深度模型的计算成本由网络结构决定，与样本难度无关。以ResNet-50为例，无论输入是空白背景上的大目标，还是高噪声街景，每张图都要经过50层卷积和若干全连接层。实际上，很多易分类样本在前几层已经形成明显的类别特征，后续层只是在不断重复确认同一个结论。这类冗余在离线训练中或许可以接受，但在需要低延迟高吞吐的服务场景中，会直接增加硬件成本和排队时间。
动态推理的核心假设是：不同样本需要不同的计算深度。对一个几乎确定属于某个类别的输入，浅层特征可能已经足够；对一个模棱两可的输入，则需要更深层语义或者更细粒度的空间信息。与其让网络总是从入口走到出口，不如在中间位置设置多个判断点。每个判断点根据当前特征给出置信度，如果置信度超过阈值，就停止前向传播并返回结果。这样计算量不再是一个固定值，而是一个随输入变化的统计量。
这种思路与人类的直觉一致：简单问题快速回答，困难问题多花时间。模型学习到的不是一条固定路径，而是一族从浅到深的候选路径。训练时需要保证所有候选出口都能输出合理结果，同时尽量把简单样本推到浅层出口，把困难样本留给深层出口。这个目标不能只靠分类损失，还需要专门的计算量惩罚或阈值策略。
二、实现动态路径的三种典型机制
动态神经网络并不是单一结构，而是一类方法的统称。按照决策发生的位置和粒度，可以实现为早退、跳层或专家路由。
早退机制是最直接的形式。它在骨干网络的不同深度接入额外分类头，每个分类头用当前特征预测类别。推理时按层推进，每次遇到出口都计算softmax置信度，如果某出口的最大概率超过预设阈值，就终止传播。下面是一个简化示例：
import torch
import torch.nn as nn
class EarlyExitNet(nn.Module):
def __init__(self, backbone, num_classes, exit_positions):
super().__init__()
self.backbone = backbone
self.exit_positions = exit_positions
self.exits = nn.ModuleList([
nn.Linear(backbone.feature_dim, num_classes)
for _ in exit_positions
])
def forward(self, x, threshold=0.9):
for i, block in enumerate(self.backbone.blocks):
x = block(x)
if i in self.exit_positions:
logits = self.exits[self.exit_positions.index(i)](x)
probs = torch.softmax(logits, dim=-1)
conf = probs.max(dim=-1).values
if (conf > threshold).all():
return logits, i
logits = self.exits[-1](x)
return logits, len(self.backbone.blocks) - 1
这个实现里，exit_positions指定哪些层后可以退出。batch内的所有样本共享同一个退出决策，只有当整批样本置信度都超过阈值时才提前返回。如果不做这种整批判断，不同样本退出层不同，会破坏张量形状的一致性。对于在线服务通常逐样本推理，或者使用较小的动态batch。
门控跳层是第二种机制。网络中的每个残差块或Transformer子层前放置一个小型门控网络，门控网络根据输入特征输出0或1，决定是否跳过该层的计算。这种决策比早退更细粒度，它不终止整个前向过程，而是选择性地省略某些层。门控网络通常使用Gumbel-Softmax或直通估计器来近似离散采样，使梯度能够回传。训练时还需要加入稀疏性惩罚，防止门控网络偷懒把所有层都跳过，或者为了简单全部保留。
混合专家模型则从宽度维度动态分配计算。它由多个专家子网络和一个路由器组成，每个输入只激活部分专家。路由器输出各专家的权重，然后对专家输出做加权融合。与普通集成不同，路由器的选择是稀疏的，例如只保留权重最高的top-k个专家。这样总参数可以很大，但单个样本的前向计算量受控。在Transformer大模型中，这种设计常被用来在不过度增加延迟的前提下扩展容量。
三、训练动态网络的关键策略
动态网络的训练目标不是单一出口的准确率，而是所有候选出口的综合表现，以及计算量是否可控。一个常见的损失函数是各出口交叉熵的加权和。对于早退网络，浅层出口通常分类能力较弱，但训练时不能忽略它们，否则模型会倾向于所有样本都走深出口，动态性失效。
除了分类损失，计算量正则项同样重要。可以统计本次前向实际经过的层数或FLOPs，乘上惩罚系数后加入总损失。这个正则项会鼓励网络在保证准确率的前提下尽量使用浅层出口。代码大致如下：
import torch.nn.functional as F
def dynamic_loss(logits_list, target, flops, base_flops, alpha=1e-4):
ce_loss = 0.0
for logits in logits_list:
ce_loss += F.cross_entropy(logits, target)
ce_loss = ce_loss / len(logits_list)
flop_penalty = alpha * (flops / base_flops)
return ce_loss + flop_penalty
这里flops是本次前向实际消耗的计算量，base_flops是完整网络的计算量。alpha越大，模型越倾向早退，但过大会损害困难样本的准确率。实践中可以逐步增加alpha，或者将其作为约束优化问题处理。
另一个容易忽视的问题是阈值校准。训练阶段常用置信度阈值决定是否退出，但如果分类头没有经过校准，softmax输出容易过度自信，导致困难样本在浅层就被错误地提前退出。解决办法包括对每个出口做温度缩放、在验证集上搜索最优阈值，或者让模型同时输出一个停止概率，而不是直接复用分类置信度。
对于门控跳层和混合专家中的离散决策，反向传播需要特殊处理。Gumbel-Softmax在训练时对离散分布做连续松弛，Straight-Through Estimator则在前向用硬采样、反向用软梯度。两种方法各有取舍，前者训练稳定但分布偏软，后者梯度有偏但更接近真实离散推理。
四、部署时的性能权衡
动态网络在纸面上可以减少平均FLOPs，但实际部署在GPU上时，节省的计算并不总能转化为端到端延迟下降。原因是GPU擅长并行执行同一批次的相同操作，而动态推理会导致批内样本路径发散。例如批量大小为32时，某些样本第3层退出，某些要走到第50层，此时要么等待最慢的样本，要么把不同出口的样本拆分处理，后者需要额外的数据搬运和kernel启动开销。
因此，在服务端GPU场景中，动态网络通常以整批决策为主，即观察所有样本的置信度分布，选择一两个全局退出点。这样损失一部分细粒度，但保持计算图相对整齐。在移动端或边缘设备上，逐样本动态推理更有吸引力，因为单个kernel启动开销小，CPU和NPU对控制流更宽容，早退可以直接降低能耗。
部署动态网络还需要与其他优化手段协同。量化可以降低每个出口计算成本，剪枝可以进一步裁剪浅层出口和门控网络。监控指标除了准确率，还应包括平均FLOPs、P50/P95延迟、退出层分布等。若发现某个出口几乎从不触发，可以将其移除；若浅层出口的错误率上升，则需要重新校准阈值或者增加该出口的容量。
动态推理正在从研究原型走向实际系统。把推理路径的决策权交给网络，并配上合理的损失、阈值和部署策略，能够在保持精度的同时显著降低平均计算负载。它的本质不是让网络变浅，而是让网络学会在合适的时候停止计算。