把一个训练好的深度学习模型放到手机上运行，听起来简单，实际操作时会遇到一连串问题：模型体积太大装不进安装包、推理速度慢到影响用户体验、CPU占用过高导致手机发烫掉电。TensorFlow Lite（现在官方也叫LiteRT）就是Google针对这类移动端场景推出的轻量级推理框架，它把标准TensorFlow模型转换成FlatBuffer格式的.tflite文件，配合高度优化的解释器内核，在安卓和iOS设备上都能获得不错的性能表现。这篇文章把整个部署流程拆开来讲清楚，包括模型转换、量化压缩、客户端集成以及常见踩坑点。
为什么要用TensorFlow Lite而不是直接跑TensorFlow模型
标准的TensorFlow框架是为服务器和GPU集群设计的，完整运行时加上依赖库动辄几百兆，显然不可能塞进一个移动应用里。TensorFlow Lite做了三件关键的事情：第一，定义了一套精简的算子集合（内置算子大约只有完整版的十分之一），解释器核心库在安卓上压缩后只有1MB左右；第二，使用FlatBuffer作为模型文件格式，这是一种零拷贝的序列化格式，模型加载时不需要额外的解析过程，直接映射内存就能用，启动速度比Protocol Buffers快很多；第三，提供了NNAPI、GPU Delegate等硬件加速后端，可以把计算任务下发给手机的NPU或者GPU执行。
另外一套值得了解的机制是算子融合。转换器会在图优化阶段把一些常见的操作组合合并，比如卷积加偏置加激活函数这三步会被融合成一个算子，减少中间结果的读写开销。这也是为什么同一个模型转成tflite之后，往往不只是体积变小了，速度也会有一定提升。
当然它也有代价：部分复杂算子（比如某些自定义的动态循环操作）不受支持，遇到这种情况要么改写模型结构，要么通过Select TensorFlow Ops引入额外的算子库，但后者会增加应用体积，需要权衡。
模型转换的两种方式
转换环节是把Keras或SavedModel变成.tflite文件的必经步骤。先看最简单的命令行方式：
tflite_convert \ --saved_model_dir=./saved_model \ --output_file=./model.tflite
如果模型是Keras的h5格式，用Python API会更灵活，而且转换过程中可以直接指定量化配置：
import tensorflow as tf
converter = tf.lite.TFLiteConverter.from_keras_model(model)
# 默认float32转换
tflite_model = converter.convert()
with open('model.tflite', 'wb') as f:
f.write(tflite_model)
转换完成后建议先做一次自检，用Python加载tflite模型跑几个测试样本，对比原始模型的输出是否一致。如果转换时就出现了算子不支持的报错，错误信息里通常会写明具体是哪个op，这时候可以检查模型的构建代码，尝试用等价的受支持算子替换，或者打开Reduce Ops的开关让转换器做更多化简：
converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.target_spec.supported_ops = [
tf.lite.OpsSet.TFLITE_BUILTINS,
tf.lite.OpsSet.SELECT_TF_OPS # 允许引入TensorFlow完整算子
]
tflite_model = converter.convert()
量化：让模型瘦身提速的核心手段
量化是移动端部署里性价比最高的一步。默认的float32模型每个权重占4字节，量化后可以降到2字节甚至1字节，体积直接减半或缩到四分之一，同时整数运算在某些只支持INT8的加速器上是唯一选择。TensorFlow Lite提供三种主要量化方案，区别如下：
| 量化方式 | 体积缩减 | 是否需要校准数据 | 加速硬件支持 |
|---|---|---|---|
| 动态范围量化 | 约75% | 不需要 | CPU |
| float16量化 | 约50% | 不需要 | CPU、GPU Delegate |
| 全整数量化 | 约75% | 需要代表性数据集 | INT8加速器、NNAPI、Edge TPU |
| 不量化（float32） | 基线 | 不需要 | 全部支持 |
动态范围量化最省事，只需要一行配置，它把权重从float32压成int8，但激活值在推理时仍然是浮点计算：
converter.optimizations = [tf.lite.Optimize.DEFAULT] tflite_model = converter.convert()
全整数量化效果最彻底，权重和激活值都转成int8，能跑在手机的NPU上，但需要提供一组有代表性的输入样本，让转换器统计各层数值的分布范围来确定量化参数。样本选得不好会直接影响精度，一般取训练集中的一小部分，几百条数据通常就够了：
def representative_dataset():
for data in calibration_samples.take(200):
yield [tf.dtypes.cast(data, tf.float32)]
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.int8
converter.inference_output_type = tf.int8
tflite_model = converter.convert()
要注意量化是有精度损失的，尤其对检测类、分割类任务影响更明显。建议量化后用完整验证集重新评估一遍精度指标，如果下降超过预期，可以尝试量化感知训练（QAT），在训练阶段就模拟量化误差，让模型主动适应。
在安卓项目中集成推理代码
Android端推荐通过Maven依赖集成，在模块的build.gradle中加入：
dependencies {
implementation 'org.tensorflow:tensorflow-lite:2.14.0'
// 如果用了GPU加速
implementation 'org.tensorflow:tensorflow-lite-gpu:2.14.0'
}
同时要把model.tflite文件放到app/src/main/assets目录下，并在android块里加上aaptOptions的noCompress设置，避免打包时压缩导致无法内存映射加载。Java侧的推理代码大致是这样：
try (Interpreter interpreter = new Interpreter(
loadModelFile(context, "model.tflite"))) {
float[][] input = new float[1][224 * 224 * 3];
float[][] output = new float[1][10];
interpreter.run(input, output);
// output中就是推理结果
} catch (Exception e) {
e.printStackTrace();
}
推理调用务必放在子线程执行，否则输入较大时会直接阻塞UI线程触发ANR。对实时性要求高的场景，比如相机每帧都要推理，建议用GPU Delegate替代默认的CPU后端：
GpuDelegate delegate = new GpuDelegate();
Interpreter.Options options = new Interpreter.Options()
.addDelegate(delegate);
Interpreter interpreter = new Interpreter(model, options);
每个Delegate对象会持有独立的GPU资源，用完记得调用close释放，长时间不释放在部分机型上会导致后续创建失败。另外注意tflite模型默认最多只允许一个解释器实例在跑，多线程并发推理要么加锁串行，要么各自创建独立的Interpreter实例。
常见问题排查思路
部署过程中最典型的两类问题，一类是转换阶段报错，另一类是推理结果不对。转换报错大多是算子不支持，按照前面说的方法定位具体op即可；而推理结果异常往往更隐蔽，常见原因有三个：一是输入预处理不一致，比如训练时图片做了归一化到0到1，推理时却送了0到255的原始像素；二是输入维度顺序搞混，NHWC和NCHW两种排布方式结果会完全不同；三是量化模型的输入输出类型变了，全整数量化后接口要求的是int8或者uint8数据，如果还按float喂进去，解释器不会报错但结果全是错的。
排查时可以用一个固定的测试输入，分别在Python端和手机端跑同一个tflite模型，逐层对比输出数值，很快就能锁定差异出现的位置。平时养成记录模型输入输出shape和dtype的习惯，比出问题后再翻代码要高效得多。
性能方面，如果推理速度不理想，优先检查是否启用了XNNPACK（新版本默认开启）、是否换了合适的Delegate，以及在低档机型上是否做了降级策略，比如把量化模型和高精度模型打包在一起，根据设备性能动态选择加载哪个版本。这些细节处理好，模型在移动端的体验会有质的提升。
TensorFlow Lite移动端部署模型量化修改时间：2026-09-06 05:04:40