Android如何用Bazel构建TensorFlow Lite并启用GPU Delegate加速？

Android端部署TensorFlow Lite模型时，很多团队默认先跑CPU推理，结果在高分辨率输入或连续帧场景下延迟明显增加。真正要满足实时体验，通常需要把算子调度到GPU执行。TensorFlow Lite的GPU Delegate通过OpenGL ES或OpenCL将卷积、池化等操作下发到Adreno、Mali等移动GPU，但它不是简单加一行依赖就能稳定工作，尤其是选择Bazel构建时，依赖目标、初始化方式、设备兼容性都要处理好。

一、为什么需要用 Bazel 构建 TensorFlow Lite

TensorFlow Lite 官方发布的 Android AAR 主要通过 Gradle 依赖引入，适合大多数独立 App。但如果你在开发自研推理框架、需要裁剪算子，或者要把 TFLite 编译成自定义 Native 库供多个平台复用，Bazel 会更合适。TensorFlow 项目的官方源码就是基于 Bazel 管理，构建脚本、工具链和测试配置都已经准备好，使用 Bazel 可以获得更好的可复现性与增量编译效率。

在 Android 工程中使用 Bazel 构建，首先要理解 WORKSPACE 文件的作用。它负责声明外部依赖，例如 TensorFlow 的源码包。简单做法是通过 http_archive 下载指定版本并引入。下面给出一个 WORKSPACE 片段，将 TensorFlow 2.14.0 源码导入到工作区。

http_archive(
    name = "org_tensorflow",
    sha256 = "your-sha256-value",
    strip_prefix = "tensorflow-2.14.0",
    urls = [
        "https://github.com/tensorflow/tensorflow/archive/refs/tags/v2.14.0.tar.gz",
    ],
)

接下来在 BUILD 文件中声明要编译的目标。TensorFlow Lite 的核心库和 GPU Delegate 分别位于 //tensorflow/lite:framework 与 //tensorflow/lite/delegates/gpu:delegate。将它们加入 deps，Bazel 会解析依赖并生成共享库。

需要注意的是，GPU Delegate 在不同的 Android 设备上对 OpenGL ES 和 OpenCL 的支持并不一致。构建阶段尽量同时保留两种后端，在运行时根据设备能力选择，这样可以减少因为只编入 OpenCL 导致部分老设备无法使用的问题。

二、GPU Delegate 依赖配置与 Bazel 目标

如果使用 Gradle，GPU Delegate 的引入比较简单，在模块的 build.gradle 中追加 org.tensorflow:tensorflow-lite-gpu 依赖即可。但 Bazel 构建时没有 Maven 坐标，需要直接引用 TensorFlow 源码中的 cc_library 或 android_library 目标。

dependencies {
    implementation 'org.tensorflow:tensorflow-lite:2.14.0'
    implementation 'org.tensorflow:tensorflow-lite-gpu:2.14.0'
}

在上面的 Gradle 配置中，第二条就是 GPU Delegate 的依赖。Bazel 对应的写法可以集中在自定义的 cc_library 中，把 framework 和 delegate 作为依赖暴露给 Android 目标。

cc_library(
    name = "tflite_gpu",
    deps = [
        "@org_tensorflow//tensorflow/lite:framework",
        "@org_tensorflow//tensorflow/lite/delegates/gpu:delegate",
    ],
)

之后在 android_binary 中引用这个 tflite_gpu 目标。Bazel 的 Android 规则会合并 Native 库并打包进 APK。如果 Android 项目包含 JNI 代码，还需要在 cc_library 中设置 abi 参数，确保只构建目标架构的 so，避免 APK 体积膨胀。

android_binary(
    name = "app",
    srcs = glob(["src/**/*.java"]),
    manifest = "AndroidManifest.xml",
    resource_files = glob(["res/**"]),
    deps = [
        ":tflite_gpu",
    ],
)

实际构建时通常指定 ABI 和优化级别，例如通过命令行传入 --config=android_arm64 或 --cpu=arm64-v8a。这能避免 Bazel 默认构建全部架构导致耗时过长。

三、在 Android 运行时初始化 GPU Delegate

构建完成后，运行时初始化 GPU Delegate 并不复杂。Java 层使用 Interpreter.Options 的 addDelegate 方法，传入 GpuDelegate 实例即可。下面是一个加载 model.tflite 并配置 GPU 的完整示例。

import org.tensorflow.lite.Interpreter;
import org.tensorflow.lite.gpu.GpuDelegate;

public class TfLiteRunner {
    private Interpreter interpreter;
    private GpuDelegate gpuDelegate;

    public void init(byte[] modelBuffer) {
        Interpreter.Options options = new Interpreter.Options();
        gpuDelegate = new GpuDelegate();
        options.addDelegate(gpuDelegate);
        interpreter = new Interpreter(java.nio.ByteBuffer.wrap(modelBuffer), options);
    }

    public void close() {
        if (interpreter != null) {
            interpreter.close();
        }
        if (gpuDelegate != null) {
            gpuDelegate.close();
        }
    }
}

上面代码中，GpuDelegate 默认会尝试使用 OpenGL ES，如果不支持则可能抛异常或自动回退。为了提高稳定性，可以在初始化前检测设备是否满足 GPU Delegate 的最低要求，例如 OpenGL ES 3.1 以上。同时要注意 Interpreter 和 GpuDelegate 都需要显式关闭，避免 Native 资源泄漏。

如果你的模型包含 GPU 不支持的算子，初始化不会报错，但推理时会回退到 CPU 或直接失败。这时最好查看 Interpreter.run 前后的耗时变化，确认 GPU 确实生效。

四、C++ 侧配置与性能调优

对于完全使用 C++ 的 Android 应用，GPU Delegate 需要通过 TensorFlow Lite 的 C API 或 C++ API 创建。常见做法是先构造 TfLiteGpuDelegateOptionsV2，再调用 TfLiteGpuDelegateV2Create 生成 delegate 指针，最后通过 ModifyGraphWithDelegate 绑定到解释器。

auto options = TfLiteGpuDelegateOptionsV2Default();
auto delegate = TfLiteGpuDelegateV2Create(&options);
tflite::InterpreterBuilder builder(model, resolver);
builder(&interpreter);
interpreter->ModifyGraphWithDelegate(delegate);

这里使用了 & 和 ->，在 HTML 中需要把 & 转义成 &，但浏览器解析后不会影响阅读。C++ 路径下更要注意 delegate 的生命周期，应当在解释器销毁后再调用 TfLiteGpuDelegateV2Delete。

性能调优方面，GPU Delegate 的优势在于大批量矩阵运算，但如果输入张量很小，CPU 与 GPU 之间的拷贝开销可能抵消加速收益。建议先在目标设备上用同一模型跑 100 次推理，分别记录 CPU 和 GPU 的平均耗时。常见结果是中高端设备在输入尺寸 224×224 以上时 GPU 提速 2 到 5 倍，但在小输入或低端设备上可能持平甚至更慢。

另外，量化模型在 GPU 上的兼容性已经大幅改善，但仍建议优先测试 Float32 模型，再迁移到 INT8。如果遇到 GPU Delegate 运行结果与 CPU 不一致，可以暂时关闭 OpenCL，只使用 OpenGL ES，或者开启 setPrecisionLossAllowed(true) 提高速度。

五、常见问题与排查思路

第一个常见错误是没在 AndroidManifest 中声明 OpenGL ES 版本。GPU Delegate 需要设备支持 OpenGL ES 3.1 或更高，如果应用没有声明 <uses-feature>，在部分设备上可能被系统限制。通常添加 <uses-feature android:glEsVersion="0x00030001" android:required="true" /> 能明确要求。

第二个问题是 Bazel 构建时找不到 GPU Delegate 目标。检查 WORKSPACE 是否引入了完整的 TensorFlow 源码包，以及 strip_prefix 是否正确。TensorFlow 不同版本的目标路径略有变化，可以用 bazel query 命令列出可用 target。

第三个问题是运行时 GpuDelegate 初始化抛出 IllegalArgumentException。这种通常是设备 GPU 不支持或驱动版本过低，可以捕获异常后回退到 CPU 推理，保证功能可用。不要因为启用 GPU 而让应用在旧设备上崩溃。

此外，GPU Delegate 会额外占用显存，如果同时运行多个模型，要控制并发数量。实际项目中建议把 GPU 推理放到独立线程，并设置超时和队列，避免频繁创建销毁 delegate。通过正确的 Bazel 目标管理和运行时保护，Android 端的 TensorFlow Lite 模型可以稳定获得 GPU 加速。

TensorFlow LiteGPU DelegateBazel构建修改时间：2026-10-03 01:30:52