边缘设备通常只有几百KB到几百MB的可用内存，算力也远低于桌面GPU。一个标准的ResNet-50模型权重文件接近100MB，推理时包含大量浮点乘法，很难在树莓派、单片机或移动端NPU上稳定运行。模型量化与剪枝是降低模型体积和计算量的两条主要路线，它们从不同角度压缩模型，也可以组合使用。
模型量化的核心逻辑与实现方式
量化是把浮点权重和激活值映射到低比特整数，例如从FP32降到INT8，这样可以减小约4倍存储，同时利用边缘芯片的整数运算单元加速。量化不是简单截断小数，而需要确定缩放因子和零点，使映射后的整数能近似原浮点分布。常见映射公式为：q = round(r / scale + zero_point)。这里的scale由数值范围除以整数范围得到，zero_point用于处理非对称分布，例如ReLU激活输出只有非负数。
训练后动态量化适合卷积和循环网络中的全连接层与LSTM，权重提前量化为INT8，激活在推理时动态统计数值范围。它的改动成本最低，但激活量化带来的额外统计开销在部分硬件上不可忽略。静态量化则需要在训练后或训练中用校准集统计每层激活的数值范围，把激活的量化参数固定下来，推理时没有动态统计开销，更适合CNN和Transformer推理。量化感知训练则在训练过程中模拟量化误差，让权重适应低精度表示，精度损失通常更小。
import torch
import torch.quantization as quant
# 以动态量化为例，将模型中的线性层替换为量化版本
model = MyModel()
quantized_model = quant.quantize_dynamic(
model,
{torch.nn.Linear, torch.nn.LSTM},
dtype=torch.qint8
)
# 推理时输入仍为浮点，量化操作在层内完成
output = quantized_model(torch.randn(1, 28 * 28))
量化的难点在于异常值会撑大scale，使得大部分数值的量化分辨率变差。例如一个张量大部分值在[-1, 1]范围内，但出现一个100的异常值，整个量化范围就被拉大到[-100, 100]，导致小数值在INT8表示中只占用极少区间。实践中常对权重做逐通道量化，或者对激活做滑动平均范围校准，避免个别异常值主导缩放因子。对于延迟敏感的边缘设备，还要确认目标算子是否支持INT8，某些自定义算子不支持量化时需要保留FP32路径。
模型剪枝：剔除冗余权重与结构
剪枝的思路是神经网络中大量权重接近于零，对输出贡献很小，删除这些连接不会明显影响精度。非结构化剪枝按权重大小置零，得到稀疏权重矩阵。它压缩率高，但稀疏矩阵需要专用库或硬件才能转化为实际加速，普通CPU上不规则稀疏反而可能变慢。结构化剪枝直接删除整个通道、滤波器或注意力头，保留稠密的小模型结构，通用硬件更容易加速。
PyTorch提供全局非结构化剪枝和基于范数的通道剪枝接口。非结构化剪枝通过torch.nn.utils.prune.l1_unstructured按L1范数移除权重，结构化剪枝通过torch.nn.utils.prune.ln_structured按通道范数裁剪。剪枝后模型需要重新训练或微调，否则精度通常明显下降。剪枝率需要逐层设置，敏感层如第一层和输出层往往保留更多权重，中间冗余层可以加大裁剪比例。
import torch.nn.utils.prune as prune
conv = torch.nn.Conv2d(3, 16, 3)
# 对权重做30%的非结构化L1剪枝
prune.l1_unstructured(conv, name="weight", amount=0.3)
# 移除剪枝掩码，保留稀疏权重
prune.remove(conv, "weight")
print("非零权重占比:", (conv.weight != 0).float().mean().item())
剪枝后模型的尺寸并不一定立即变小，因为非结构化剪枝仍以稀疏张量存储，只有配合稀疏推理框架才能获得速度收益。结构化剪枝可以真正减小通道数和参数量，但需要调整后续层的输入维度。工程上常采用迭代剪枝：先剪掉一部分，再微调几个epoch，反复多次，比一次性剪掉50%更稳定。敏感层分析也很重要，例如MobileNet中的深度可分离卷积对剪枝更敏感，需要设置更低剪枝率。
量化与剪枝组合及边缘部署建议
单用量化或剪枝往往存在瓶颈。量化主要降低单次计算的位宽和存储，剪枝则减少需要计算的参数数量。两者组合可以进一步压缩模型：先剪枝去掉冗余结构，再对剪枝后的模型做量化校准或量化感知训练，通常能得到比单独使用更好的体积与速度。组合顺序很关键，如果先量化后剪枝，量化参数可能被破坏；先剪枝后量化则可以让量化作用在已经紧凑的模型上。
import torch
import torch.nn.utils.prune as prune
import torch.quantization as quant
# 1. 先对部分卷积层做结构化剪枝
model = MyModel()
for module in model.modules():
if isinstance(module, torch.nn.Conv2d):
prune.ln_structured(module, name="weight", amount=0.2, n=2, dim=0)
prune.remove(module, "weight")
# 2. 对剪枝后的模型做静态量化
model.qconfig = quant.get_default_qconfig("fbgemm")
prepared = quant.prepare(model, inplace=False)
# 此处需要校准数据，示例略
# quantized_model = quant.convert(prepared)
边缘部署还需要关注算子支持和内存布局。ONNX Runtime、TensorRT、TFLite等推理框架对量化和剪枝的支持差异较大。部署前应导出对应格式，并在目标硬件上用真实输入测试延迟和内存。量化到INT8在ARM CPU上可能受益于NEON指令，但如果使用无优化算子，反而可能因为反量化操作增加耗时。剪枝后的稀疏模型在树莓派CPU上一般没有一致加速，需要评估是否值得。
最后要明确精度预算。边缘场景往往对延迟和功耗更敏感，但也不能牺牲过多准确率。建议先建立基线模型精度，然后分别测试量化、剪枝及组合方案的精度下降，以精度损失不超过1到2个百分点为阈值进行调参。通过逐层量化配置和敏感层分析，可以在资源受限条件下找到精度和速度的平衡点。