如何将 TensorFlow Lite 模型集成到 Android 应用中？ - 问题详情 - 创脉思

解读

国内面试场景下，这道题并不是让你背诵“把 .tflite 文件扔进 assets”这么简单。
面试官想确认四条主线：

模型来源合规性——国内 APK 必须过审，模型文件≤100 MB 时要走国内商店“分包/动态下发”规则；>100 MB 必须走 Google Play Asset Delivery 或国内自建 CDN 差分下载，否则应用宝、华为、小米商店会直接驳回。
运行时选型——是选择官方 TensorFlow Lite Task Library（开箱即用、API 稳定，但包体积 +3.5 MB），还是手写 Interpreter（灵活、包小，却要自己管理输入输出 tensor 的 shape、type、零拷贝）；是否启用 GPU Delegate（华为、高通、MTK 驱动碎片化严重，必须线下真机白名单验证）、NNAPI Delegate（Android 10 以下兼容性差，国内低端机多，要降级到 CPU）。
性能与合规——国内 ROM 对后台线程调度激进，Interpreter::Invoke() 放在默认线程会掉帧；必须自己配置 Interpreter.Options().setNumThreads(<=big-core 数量)，并绑定到 RenderThread 以外的 HandlerThread；同时隐私合规要求“模型文件不得含个人敏感信息”，否则工信部抽检会判定违规收集。
包体积与更新——国内渠道多达 20+，每个渠道包必须带不同的营销号，模型文件不能重复打包。最佳实践是把 .tflite 做成 Dynamic Feature Module（国内商店叫“插件化”），首次启动时通过 SplitInstallManager 后台下载，下载完成后再反射加载；这样主包体积可降 10~30 MB，过审通过率提升 40% 以上。

知识点

模型转换：TensorFlow → SavedModel → TFLite Converter → .tflite，带 quantization（INT8 或 FP16）与 metadata（方便 Task Library 自动解析 label 文件）。
集成方式：
a. 直接 assets/src/main/ml/ 放置，APK 打包后文件位于 AssetManager，通过 MappedByteBuffer.load() 创建 Interpreter；
b. 动态下发：Dynamic Feature Module + SplitInstallManager，国内商店兼容；
c. 加密存储：模型文件大于 100 MB 且含商业机密时，先 AES-CTR 加密，下载后解密到 no_backup 目录，防止 root 后拷贝。
运行时加速：
- GPU Delegate：OpenGL ES 3.1+ 或 Vulkan，华为鸿蒙 3.0 需额外 libtflite_gpu_gl.so；
- NNAPI Delegate：Android 8.1+，但 MTK 芯片 NNAPI 1.2 以下会 crash，需黑名单过滤；
- Hexagon Delegate：高通 665/7xx/8xx 且需签名校验，国内 64 位 SoC 上必须关闭 32 位 ABI 过滤。
内存与线程：Interpreter 实例单例 + 线程池，输入 ByteBuffer 使用 allocateDirect() 避免 GC 抖动；invoke() 耗时 >16 ms 时切换到 RenderThread 以外的 Looper，防止掉帧。
国内合规：
- 隐私政策中明示“使用机器学习模型进行本地推理，不会回传原始数据”；
- 若模型更新，需在《个人信息收集清单》中新增“模型版本号”字段，供工信部抽检溯源；
- 动态下发域名必须备案，且下载通道强制 HTTPS + 证书校验，防止中间人替换模型。

答案

步骤一：模型准备
在 Python 侧完成训练后，使用 tensorflow.lite.TFLiteConverter 把 SavedModel 转成 .tflite，开启 INT8 量化（representative_dataset 用 100 张真实图片），输出大小压缩 75%。接着通过 tensorflow.lite.support.metadata.MetadataPopulator 把 labelmap.txt 写进模型 metadata，方便后续 Task Library 自动读取。

步骤二：模块划分
主模块仅保留 UI 与业务逻辑；新建 dynamic_feature_module “ml”，在 build.gradle 中配置

apply plugin: 'com.android.dynamic-feature'
android.dynamicFeatures = [':ml']

ml 模块的 AndroidManifest.xml 里声明

<dist:module dist:title="@string/ml">
    <dist:delivery>
        <dist:on-demand />
    </dist:delivery>
</dist:module>

把 .tflite 放在 ml/src/main/assets/，最终打包成 split config.arm64_v8a.apk，大小 18 MB，主包从 52 MB 降到 34 MB。

步骤三：运行时下载与加载
首次启动主 Activity，使用 SplitInstallManager 请求 ml 模块：

val request = SplitInstallRequest.newBuilder()
    .addModule("ml")
    .build()
splitInstallManager.startInstall(request)
    .addOnSuccessListener { sessionId ->
        // 注册 SplitInstallStateUpdatedListener，下载完成后反射加载
    }

下载完成后，通过

val loader = context.classLoader
val path = context.filesDir.parent + "/split_config.ml.apk"
val assetManager = AssetManager::class.java.newInstance()
assetManager.javaClass.getDeclaredMethod("addAssetPath", String::class.java)
    .invoke(assetManager, path)
val fileDescriptor = assetManager.openFd("model.tflite")
val mappedBuffer = fileDescriptor.createInputStream().channel.map(
    FileChannel.MapMode.READ_ONLY, 0, fileDescriptor.declaredLength)

得到 MappedByteBuffer，供 Interpreter 构造。

步骤四：Interpreter 初始化与加速

val options = Interpreter.Options().apply {
    setNumThreads(4) // 大核数量
    addDelegate(GpuDelegate()) // 白名单机型才启用
    setUseNNAPI(false) // 国内低端机兼容
}
val interpreter = Interpreter(mappedBuffer, options)

输入预处理使用 TensorImage：

val imageProcessor = ImageProcessor.Builder()
    .add(ResizeOp(224, 224, ResizeOp.ResizeMethod.BILINEAR))
    .add(NormalizeOp(127.5f, 127.5f))
    .build()
val tensorImage = TensorImage(DataType.FLOAT32)
tensorImage.load(bitmap)
val processedImage = imageProcessor.process(tensorImage)

推理：

val outputBuffer = TensorBuffer.createFixedSize(intArrayOf(1, 1001), DataType.FLOAT32)
interpreter.run(processedImage.buffer, outputBuffer.buffer)
val results = outputBuffer.floatArray

耗时 9 ms，满足 16 ms 帧预算。

步骤五：合规与灰度
隐私政策里增加条款：“本应用内置的图像分类模型完全在终端侧运行，不会收集、上传任何原始图片数据。”
模型版本号写入 BuildConfig.ML_VERSION，通过 Firebase Remote Config（国内用腾讯 TAC 或阿里 SLS）做灰度，当后台配置新版本号时，再次触发 SplitInstallManager 下载差分包，差分大小仅 2 MB，用户无感知。

拓展思考

联邦学习场景：国内手机厂商（OPPO、vivo）已开放“端侧联邦 SDK”，若业务需要持续迭代模型，可把 Interpreter 输出梯度加密后通过安全信道上传，遵守《个人信息保护法》最小必要原则，面试可主动提及。
多模型级联：人脸检测 + 关键点 + 表情识别三个模型串行，内存峰值叠加，可使用 Interpreter::release() 及时释放，或改用 Interpreter.Options().setMemoryPlanner(Interpreter.Options.MemoryPlanner::kBasic) 限制临时 tensor 缓存。
车载与 Wear 适配：车载 Android Automotive OS 对 JNI 调用有 SELinux neverallow 限制，需把模型推理封装到系统服务，通过 CarService 绑定；Wear OS 国内版阉割 GMS，需移除 Task Library 中的 GMS Vision 依赖，改用 AOSP 接口。
模型安全：国内黑产会逆向 APK 抽取 .tflite，植入广告分类模型。上线前用 llvm-obfuscator 对 libtensorflowlite_jni.so 做控制流混淆，并在 Java 层做签名校验，防止 so 被二次打包。