把一个训练好的深度学习模型部署到生产环境时，最让人头疼的往往不是模型本身的效果，而是它占用的资源。一个几十亿参数的模型用FP32存储，权重文件动辄上百GB，别说边缘设备，就算服务器显卡也未必扛得住。量化（Quantization）就是解决这个问题的核心技术：把浮点数权重和激活值映射到低位整数，比如INT8甚至INT4，从而大幅压缩模型体积并加速推理。这篇文章会从原理讲到实战，带你完整走一遍量化部署的流程。
量化到底是怎么回事：从浮点到整数的映射
先说清楚量化的数学本质。浮点数在计算机中用连续的指数和尾数表示，而整数是离散的。量化做的事情，就是把浮点数区间中的一个数值，映射到整数区间中的一个格点。以最常见的INT8量化为例，浮点数范围通常是[-1.0, 1.0]或者某个实际的数值分布范围，而INT8能表示256个离散值，量化公式如下：
import torch
# 量化公式：q = round(x / scale) + zero_point
# 反量化公式：x = (q - zero_point) * scale
def quantize_tensor(x, num_bits=8):
qmin = -(2 ** (num_bits - 1))
qmax = 2 ** (num_bits - 1) - 1
scale = (x.max() - x.min()) / (qmax - qmin)
zero_point = qmin - round(x.min() / scale)
q = torch.round(x / scale) + zero_point
q = torch.clamp(q, qmin, qmax).to(torch.int8)
return q, scale, zero_point
x = torch.randn(4, 4) * 0.5
q, scale, zero_point = quantize_tensor(x)
x_recovered = (q.float() - zero_point) * scale
print("量化误差:", (x - x_recovered).abs().max().item())上面代码里的scale是缩放因子，表示一个整数格点代表多大的浮点区间；zero_point是零点偏移。为什么需要零点偏移？因为INT8的范围是[-128, 127]，关于零并不对称，而浮点数值的实际分布范围也很少恰好对称，零点偏移就是为了让浮点的0能精确映射到某个整数值，这对ReLU这类输出大量0的激活函数尤为重要。
根据是否使用零点偏移，量化分为对称量化和非对称量化两种。对称量化强制zero_point为0，浮点范围直接对称映射到[-127, 127]，实现简单、推理时少一次加法，适合权重这种近似零均值对称分布的张量。非对称量化更灵活，对激活值这种分布偏斜的数据（比如经过ReLU后全为非负）精度更好，但计算路径稍复杂。实际部署中，权重通常用对称量化，激活值用非对称量化，这是业界验证过的黄金组合。
两种主流方案：训练后量化PTQ与量化感知训练QAT
量化方案从实施阶段上分两大类：训练后量化（Post-Training Quantization，PTQ）和量化感知训练（Quantization-Aware Training，QAT）。两者的核心区别在于，PTQ是对已经训练好的模型直接做数值转换，不需要重新训练；QAT则是在训练或微调过程中就插入伪量化节点，让模型在训练阶段就适应量化带来的精度损失。
PTQ的优势是省事，拿一个现成模型，喂几百张校准数据（Calibration Data），统计每一层激活值的分布范围，算出合适的scale和zero_point，转换就完成了。缺点是对低位量化（比如INT4）不够友好，精度掉得厉害。而QAT通过在反向传播中模拟量化误差，让权重主动调整到对量化友好的区域，精度几乎无损，但代价是需要训练资源和标注数据，实施成本高得多。经验法则：INT8量化优先尝试PTQ，精度不够再上QAT；INT4以下基本必须用QAT，或者配合GPTQ、AWQ这类专门针对大语言模型的后训练量化算法。
下面是用PyTorch做PTQ的一个实际例子，对一个ResNet模型执行动态量化：
import torch
from torch.quantization import quantize_dynamic
from torchvision import models
# 加载预训练模型
model = models.resnet50(pretrained=True)
model.eval()
# 动态量化：仅量化全连接层权重，激活值在推理时动态量化
quantized_model = quantize_dynamic(
model, {torch.nn.Linear}, dtype=torch.qint8
)
# 对比模型体积和推理速度
dummy_input = torch.randn(1, 3, 224, 224)
import time
with torch.no_grad():
# 原始模型
start = time.time()
for _ in range(50):
model(dummy_input)
fp32_time = (time.time() - start) / 50
# 量化模型
start = time.time()
for _ in range(50):
quantized_model(dummy_input)
int8_time = (time.time() - start) / 50
print(f"FP32 平均耗时: {fp32_time*1000:.2f}ms")
print(f"INT8 平均耗时: {int8_time*1000:.2f}ms")
print(f"加速比: {fp32_time/int8_time:.2f}x")动态量化是最简单的形式，只量化权重、激活值在运行时动态计算量化参数，适合快速验证。更推荐的是静态量化：先用一批代表性数据跑一遍模型，统计所有激活值的分布（这一步叫校准），把scale和zero_point固化下来，推理时完全走INT8计算路径，速度提升更明显。如果精度损失超过1个点，再考虑QAT，PyTorch提供了完整的QAT工具链：
import torch
from torch.quantization import get_default_qat_qconfig, prepare_qat, convert
model = models.resnet50(pretrained=True)
model.qconfig = get_default_qat_qconfig("fbgemm")
# 插入伪量化节点并进行微调
model_prepared = prepare_qat(model.train())
optimizer = torch.optim.SGD(model_prepared.parameters(), lr=1e-4)
for epoch in range(3):
for data, target in train_loader:
optimizer.zero_grad()
loss = torch.nn.functional.cross_entropy(
model_prepared(data), target)
loss.backward()
optimizer.step()
# 微调完成后转换为真正的量化模型
model_quantized = convert(model_prepared.eval())部署实战：ONNX Runtime与TensorRT的量化落地
量化只是第一步，真正上线还需要推理引擎配合。目前工业界最常用的两条路线是ONNX Runtime和NVIDIA TensorRT。ONNX Runtime跨平台、上手快，通过quantize_static接口做静态量化；TensorRT则是NVIDIA显卡上的性能天花板，深度优化了INT8的CUDA核心利用率。
先看ONNX Runtime的完整流程，从PyTorch导出ONNX再量化：
import onnx
from onnxruntime.quantization import quantize_static, CalibrationDataReader
# 第一步：从PyTorch导出ONNX模型
torch.onnx.export(
model, dummy_input, "model.onnx",
input_names=["input"], output_names=["output"],
opset_version=13, do_constant_folding=True
)
# 第二步：准备校准数据读取器
class MyCalibrationReader(CalibrationDataReader):
def __init__(self):
self.data = iter(preprocess_calibration_images())
def get_next(self):
try:
item = next(self.data)
return {"input": item.numpy()}
except StopIteration:
return None
# 第三步：执行静态量化
quantize_static(
"model.onnx", "model_int8.onnx",
MyCalibrationReader(),
quant_format=QuantFormat.QDQ,
per_channel=True, weight_type=QuantType.QInt8
)这里的校准数据非常关键，必须选用与实际业务分布一致的数据。笔者曾经踩过一个坑：用ImageNet的通用图片做校准，部署到一个只处理证件照的系统中，激活值分布对不上，精度直接掉了5个点。换成业务真实数据重新校准后，精度损失立刻回到0.3%以内。per_channel=True表示每个输出通道独立计算scale，对卷积网络的精度帮助很大，建议默认开启。
TensorRT路线则稍复杂一些，它要求先把模型编译成引擎文件。INT8模式下需要提供校准器类，TensorRT会在构建引擎时遍历校准数据生成精度表：
import tensorrt as trt
import pycuda.driver as cuda
logger = trt.Logger(trt.Logger.INFO)
builder = trt.Builder(logger)
network = builder.create_network(
1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH))
parser = trt.OnnxParser(network, logger)
with open("model.onnx", "rb") as f:
parser.parse(f.read())
config = builder.create_builder_config()
config.set_flag(trt.BuilderFlag.INT8)
config.max_workspace_size = 4 << 30 # 4GB
# 设置校准器，构建INT8引擎
config.int8_calibrator = MyCalibrator(
cache_file="int8.cache")
engine = builder.build_engine(network, config)值得一提的是，TensorRT从8.x开始支持
INT8还是FP16：精度损失排查与选型建议
量化不是免费的午餐，精度损失是绕不开的话题。合理的INT8量化损失应该在0.5%以内，如果掉点明显，通常有这几个原因：校准数据不具代表性、某些层的数值分布离群点太多、模型本身对量化敏感（比如小模型参数冗余少）。排查方法可以做逐层量化分析，先只量化一半的层，二分定位出问题层，然后把这几个层回退到FP16，混合精度往往能兼顾速度和精度。
对于大语言模型，情况又不一样。LLM的权重分布呈长尾状，少量离群值很大，简单PTQ会导致输出质量断崖式下跌，所以诞生了GPTQ、AWQ、SmoothQuant等专门算法，核心思路都是特殊处理离群值通道。部署LLM时如果显存实在紧张，可以考虑GGUF格式的4bit量化配合llama.cpp，在消费级显卡甚至CPU上就能跑7B到13B规模的模型。
选型上给一个简单的决策参考：GPU推理优先TensorRT，追求极致吞吐选INT8，稳妥起见FP16基本无损且提速明显；CPU或跨平台场景选ONNX Runtime加INT8量化；边缘设备和LLM本地化部署则看GGUF加低比特量化方案。无论走哪条路线，都记住一个原则：先建立精度和性能的基线测试，量化后逐项对比，用数据说话，而不是凭感觉判断效果好坏。量化部署是一门工程实践，多测多对比，才能找到速度与质量的最佳平衡点。