在深度学习模型部署到边缘设备或移动端时，模型量化已经成为一项不可或缺的压缩与加速技术。它通过将32位浮点表示的权重和激活值转换为8位甚至更低位的整数，显著减小模型体积、降低内存占用并提升推理速度。然而，这种数值精度的降低会直接反映在模型输出质量上，在图像分类、目标检测等任务中可能造成1%至5%不等的准确率下降。尤其在激活分布不均匀或存在极端离群值的网络层中，量化误差被放大，严重影响最终性能。因此，如何在享受量化带来的收益的同时将精度损失控制在可接受范围内，便成为工程实践中的核心问题。本文将从量化误差的根源讲起，系统介绍目前最主流的两种缓解策略——校准（Calibration）与量化感知训练（Quantization-Aware Training, QAT），并给出可落地的实现参考。
量化的本质是将连续浮点数值域映射到离散的整数域。以非对称量化为例，映射公式为 q = round(r/s + z)，其中 r 为浮点值，s 为缩放因子，z 为零点偏移，q 为量化后的整数。反量化过程为 r' = s(q - z)。在这组变换中，舍入操作 round 引入了不可逆的舍入误差，而缩放因子 s 的选择则决定了动态范围的覆盖程度。如果 s 过小，整数可表示的范围无法覆盖浮点域的最大最小值，会出现截断误差；如果 s 过大，量化步长变粗，舍入误差增加。因此，误差来源可以归结为两种：舍入误差和截断误差。校准与感知训练正是围绕如何最优地设定各层的量化参数 s 和 z，以及在训练过程中学习抵抗这些误差而设计的。
一、量化精度损失的成因
要理解校准与QAT的必要性，首先需要剖析量化误差在神经网络中的具体表现形式。对于权重，由于在推理阶段是常量，其数值范围在训练结束后便固定下来，我们可以通过对权重张量直接求最小最大值来确定量化区间，通常误差较小。真正的挑战来自于激活值。激活值是输入数据的函数，随着每个batch的不同而动态变化，其分布可能极度偏斜或存在长尾离群点。
以常见的ReLU激活输出为例，其值分布在 [0, +∞) 区间，虽然大部分值集中在较小的范围，但偶尔会出现极大的数值。如果采用非饱和量化（如MinMax方法）直接根据最大最小值确定范围，那么绝大多数数值会被映射到一个很小的整数区间内，导致分辨率极低，舍入误差严重放大。这种现象在诸如MobileNet的深度可分离卷积层中尤其突出——某些通道的输出激活值范围远超其他通道，迫使逐层量化（per-tensor quantization）采用一个保守的scale，严重损害精度。改用逐通道量化（per-channel quantization）可以让每个通道拥有独立的量化参数，从而大幅缓解这种不平衡问题，但也增加了计算开销与硬件支持的复杂度。
此外，量化操作本质上是一种非线性变换，对梯度的传播也会产生影响。在反向传播时，round 函数的梯度几乎处处为零，无法用于网络训练。这一特性使得简单地在训练后添加量化节点无法直接微调，必须借助特殊的梯度近似手段，这也正是量化感知训练需要直通估计器（Straight-Through Estimator, STE）的原因。
二、校准技术：后训练量化的精度拯救
校准方法属于后训练量化（Post-Training Quantization, PTQ）范畴，目标是在不修改模型权重的前提下，仅通过一小部分校准数据集（通常几百张图片）来为每个量化层选取最优的量化参数。它完全不需要重新训练，部署成本极低，非常适合快速将浮点模型转化为量化模型。
最简单的校准方式是MinMax，即跑一批校准数据，记录每层激活值的全局最小值和最大值，据此计算scale和zero_point。这种方法容易受到离群值的干扰。为减少波动，可以使用移动平均最小最大值（MovingAverageMinMax），在多个batch上平滑统计量。更进一步的优化是MSE校准：在若干候选的量化范围（通过截断一部分极大值来缩小动态范围）中，计算量化前后激活值的均方误差，选择误差最小的截断阈值。此外还有基于KL散度的直方图截断方法，它比较浮点分布与量化后分布的差异，寻找最佳截断点使信息损失最小。这些方法虽然在数学原理上有所区别，但核心都指向一个目标：在截断误差和舍入误差之间寻找最优平衡。
下面通过一个PyTorch示例展示如何使用直方图观察器进行校准。首先在模型上插入观察器（Observer），然后在校准数据上执行一次前向传播，最后将模型转换为量化版本。
import torch
import torch.quantization as quant
# 加载预训练浮点模型
model_fp = ...
# 设置量化配置，使用带有直方图观察器的激活值校准
model_fp.qconfig = quant.get_default_qconfig('fbgemm')
# 或者针对特定层指定更细粒度的观察器：
# model_fp.layer.qconfig = quant.float_qparams_weight_only_qconfig
# 将模型准备好，插入观察器
model_prepared = quant.prepare(model_fp, inplace=False)
# 校准：运行少量样本收集统计数据
model_prepared.eval()
with torch.no_grad():
for data, _ in calibration_loader:
model_prepared(data)
# 转换模型为量化版本
model_int8 = quant.convert(model_prepared, inplace=False)
在上述流程中，prepare 阶段会在模型各层插入 HistogramObserver 或 MovingAverageMinMaxObserver，校准阶段收集激活值分布信息，最后 convert 基于这些统计计算出scale和zero_point，并将浮点算子替换为对应的量化算子。校准完成后，模型即可直接用于推理，相比浮点模型，推理延迟和内存占用通常有2-4倍的改善。
值得注意的是，校准的效果非常依赖校准数据的代表性。校准数据集应尽可能覆盖真实推理场景下的数据分布，否则统计出的量化参数可能偏斜。实践中常用100-1000张训练集子集或真实场景样本进行校准，可以取得不错的精度保持效果。对于某些极端敏感的任务（如超分辨率、语义分割），即使采用了高级校准策略，精度损失仍可能超过0.5%，此时就需要引入量化感知训练。
三、量化感知训练：在训练中学习容忍量化噪声
量化感知训练（QAT）的核心思想是将量化误差显式地注入训练过程，让模型权重在量化约束下联合优化。具体实现是在网络的前向图中插入“伪量化节点”（FakeQuantize），该节点模拟量化和反量化的完整过程：将输入浮点张量按其量化参数scale和zero_point量化到整数，再立即反量化回浮点。这样下游层看到的数值就是带有量化误差的，但整个计算图依然保持浮点精度，使得梯度可以反向传播。对于不可导的 round 函数，QAT使用直通估计器（STE）来近似其梯度：前向传递时执行正常的舍入操作，反向传递时直接将梯度原样跳过 round，即认为该函数的梯度恒为1。
QAT的训练流程通常从一个预训练的浮点模型开始，对模型进行量化配置并插入伪量化节点，然后进行少量的微调（通常只需要原来训练轮次的十分之一或更少）。训练过程中，量化参数（scale和zero_point）也可以随着权重的更新动态调整，或者设置固定周期重新统计。微调结束后，模型即可融合量化参数并导出为纯整数推理模型。因为网络有机会“看见”并适应量化误差，权重会自动调整到更适合量化的形态，例如权重值的分布变得更紧凑，离群值受到抑制。
以下代码展示如何在PyTorch中构建一个简单的QAT训练循环，以MobileNetV2为例：
import torch
import torch.quantization as quant
from torchvision.models import mobilenet_v2
# 加载预训练模型，设置量化配置
model = mobilenet_v2(pretrained=True)
model.qconfig = quant.get_default_qat_qconfig('fbgemm')
# 或者使用自定义qconfig：
# model.qconfig = quant.QConfig(
# activation=quant.FakeQuantize.with_args(observer=quant.MovingAverageMinMaxObserver,
# quant_min=0, quant_max=255, dtype=torch.quint8),
# weight=quant.FakeQuantize.with_args(observer=quant.MovingAveragePerChannelMinMaxObserver,
# quant_min=-128, quant_max=127, dtype=torch.qint8)
# )
# 融合层，通常可以融合 Conv+BN+ReLU 以提高量化效率
model.fuse_model()
# 准备QAT模型，插入FakeQuantize节点
model_qat = quant.prepare_qat(model, inplace=False)
# 微调训练
optimizer = torch.optim.SGD(model_qat.parameters(), lr=1e-3, momentum=0.9)
criterion = torch.nn.CrossEntropyLoss()
for epoch in range(5):
for images, labels in train_loader:
optimizer.zero_grad()
outputs = model_qat(images)
loss = criterion(outputs, labels)
loss.backward()
optimizer.step()
# 训练结束后，转换为真正的量化模型
model_qat.eval()
model_int8 = quant.convert(model_qat, inplace=False)
融合层（Fuse）是QAT中不可忽略的步骤，它将连续的卷积、批归一化和激活函数合并成一个单一操作，既可以减少量化误差的累积，也提升了推理硬件的效率。在融合后，批归一化的统计量会吸收到卷积的权重和偏置中，因此无需再单独量化BN层。训练过程中，伪量化节点对权重和激活值分别施加量化-反量化，迫使卷积核在微调过程中学习到对量化友好的权重模式。经验表明，经过几百到几千个iteration的QAT微调，8位量化模型的精度基本能与浮点模型持平，甚至在某些场景下由于正则化效应反而略有提升。
四、校准与QAT的权衡及部署实践
在实际工程落地中，选择校准还是QAT取决于对精度损失容忍度、可用的标注训练数据和工程时间等多方面因素。如果浮点模型精度余量较大，或任务本身对少数几个百分点的精度下降不敏感，那么校准方案凭借其零训练成本的优势无疑是最佳选择。例如在一些端侧图像分类应用中，校准后Top-1准确率下降不到0.5%，完全可以接受。而当模型本身就处于欠拟合状态，或者任务要求精度尽可能接近浮点水平（如人脸识别、医学图像分割），则必须采用QAT来保证性能。
此外，两者也可以结合使用：先用校准得到一个快速的量化基线，然后基于该基线插入QAT微调少量轮次，这样既能利用校准提供较好的初始化量化参数，又能通过微调进一步修复精度。对于部分敏感层，还可以采用混合精度量化——对这些层保留较高位宽（如8bit），对不敏感层使用更低bit（如4bit），在精度和效率之间取得更优的平衡。
从部署侧看，无论是校准还是QAT转换得到的最终量化模型，都需要确认目标推理框架是否支持相应的算子。PyTorch导出量化模型后可以通过TorchScript或ONNX转换为后端可接受的格式。在实际推理中，还需要确保输入数据的预处理方式与校准/训练时完全一致，包括归一化参数、颜色通道顺序等，否则量化参数将不再匹配，导致精度急剧下降。掌握校准与QAT的原理和实践，能够帮助开发者在模型小型化与精度保持之间找到最优的工程路径，让神经网络在资源受限的设备上也能释放出全部潜力。