在移动端部署深度学习模型，常见问题是设备温度迅速升高，甚至触发系统降频保护。发热的根源不只是算力高，还在于数据搬运与指令调度带来的功耗。单纯降低模型大小并不一定能降温，真正有效的是减少计算所需的功耗密度，而模型量化正是其中投入产出比较高的一条路径。
量化将模型中的浮点权重和激活值映射为低比特整数，例如从FP32转为INT8。这样做最直接的好处是内存占用减为四分之一，内存带宽压力同步下降。更重要的是，整数乘加运算在ARM CPU、DSP和NPU上通常比浮点运算更省电，部分硬件还提供专门的INT8加速指令。接下来从原理到实践展开讨论。
一、移动端模型发热的根源
移动SoC的功耗主要来自计算单元和内存子系统。推理过程中，每一层卷积或全连接都会产生大量乘加运算，FP32乘法器在单位能耗上明显高于INT8乘法器。与此同时，权重和特征图需要频繁从DRAM读取，而DRAM访问功耗远高于片上SRAM。当模型层数多、通道数大时，数据搬运的功耗甚至会超过计算本身。
如果模型包含数亿次浮点运算，例如MobileNetV2约300M FLOPs，在移动CPU上持续运行功耗可达数瓦。几分钟之内，设备表面温度就会明显升高。系统为了控制温升，只能降低CPU/GPU频率，推理速度随之下降，用户体验进一步恶化。这种正反馈循环说明，仅仅优化单次推理延迟是不够的，必须从单位操作的能耗入手。
量化通过低精度整数运算替代浮点运算，能够降低单次操作的动态功耗。同时，INT8权重和激活将内存占用压缩为原来的四分之一，带宽需求同步下降。对于移动端这种功耗受限场景，量化带来的能效提升通常比单纯减小模型层数更显著。
二、模型量化的核心原理与三种路径
量化本质上是把连续的浮点数值映射到离散的整数区间。对称量化只使用缩放因子scale，把浮点范围对称地映射到[-127, 127]；非对称量化还会引入零点zero_point，把浮点范围映射到[-128, 127]。量化和反量化的基本公式如下：
import numpy as np
def quantize_tensor(x, scale, zero_point):
q = np.round(x / scale + zero_point)
q = np.clip(q, -128, 127)
return q.astype(np.int8)
def dequantize_tensor(q, scale, zero_point):
return (q - zero_point) * scale
训练后量化（Post-Training Quantization, PTQ）是成本最低的方案。其中动态量化只量化权重，激活值在推理时动态计算量化参数，适合LSTM、Transformer等以矩阵乘法为主的模型。静态量化则需要在模型转换前用校准数据集统计每一层激活的数值范围，从而确定scale和zero_point，对CNN类模型的速度和功耗优化更明显。
量化感知训练（Quantization-Aware Training, QAT）则在训练阶段就插入伪量化节点，让模型参数适应量化误差。QAT通常能获得更低的精度损失，但需要完整训练流程和更多数据，适合对精度要求严格的业务。一般情况下，如果PTQ的精度损失可接受，优先选择PTQ，因为它无需重新训练。
三、移动端量化落地：从PyTorch到TensorFlow Lite的代码实践
PyTorch提供了一套较为完整的量化工具。动态量化只需几行代码即可完成，适用于模型结构中含有Linear或LSTM层的场景。代码中设置qconfig并调用quantize_dynamic，模型权重会被转换为INT8。
import torch
import torch.quantization
model = torch.load('model_fp32.pth')
model.eval()
quantized_model = torch.quantization.quantize_dynamic(
model,
{torch.nn.Linear, torch.nn.LSTM},
dtype=torch.qint8
)
torch.save(quantized_model.state_dict(), 'model_dynamic_int8.pth')
静态量化需要构造校准数据。先设置qconfig，然后调用prepare插入观察器，再用校准数据跑若干次前向传播，最后调用convert将模型转换为INT8版本。校准数据不必很大，但需要覆盖真实推理时的输入分布。
import torch
import torch.quantization
model = torch.load('model_fp32.pth')
model.eval()
model.qconfig = torch.quantization.get_default_qconfig('fbgemm')
model_prepared = torch.quantization.prepare(model, inplace=False)
with torch.no_grad():
for inputs, _ in calibration_loader:
model_prepared(inputs)
model_quantized = torch.quantization.convert(model_prepared, inplace=False)
torch.save(model_quantized.state_dict(), 'model_static_int8.pth')
对于移动端部署，TensorFlow Lite的转换方式更直接。设置optimizations为DEFAULT即可启用INT8量化，转换后的.tflite文件可直接由移动端解释器加载。
import tensorflow as tf
converter = tf.lite.TFLiteConverter.from_saved_model('saved_model_dir')
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_model = converter.convert()
with open('model_int8.tflite', 'wb') as f:
f.write(tflite_model)
四、配合量化的其他性能优化手段
算子融合是移动端推理框架普遍采用的优化。卷积层、批归一化和ReLU激活可以合并成一个算子，中间结果无需写回内存，减少了DRAM访问次数。这种优化在模型转换阶段自动完成，但需要模型结构支持。例如，将Conv后的BatchNorm层参数提前折叠进卷积权重，既降低计算量又减小内存占用。
模型剪枝和蒸馏可以和量化叠加使用。结构化剪枝会删除整条通道或整个卷积核，使得矩阵乘法直接跳过零权重块。蒸馏则用大模型作为教师网络指导小模型训练，让小模型在保持精度的同时减少参数量和计算量。经过剪枝或蒸馏的模型再量化，通常比直接量化原始模型的效果更好。
推理框架的选择也直接影响功耗。TensorFlow Lite、NCNN、MNN、ONNX Runtime Mobile都支持INT8推理和ARM NEON指令。部分高端移动芯片还具备NPU或DSP，可以进一步卸载INT8计算任务。部署时应根据目标设备的硬件特性选择合适的后端，避免让CPU持续满负荷运行。
综合来看，模型量化是移动端发热优化中性价比最高的手段。它从精度和功耗之间找到平衡，配合算子融合、剪枝和硬件加速，可以把设备温度控制在一个可接受的范围内。对于大多数移动端AI应用，先做PTQ量化，再根据精度损失情况决定是否升级到QAT，是一条稳妥的落地路径。