如何用 TensorFlow Lite 转换并构建 metadata?

解读

在国内大模型落地场景中,TensorFlow Lite(TFLite) 是端侧部署的“最后一公里”标配工具。面试官问“转换并构建 metadata”,核心想验证三件事:

  1. 你是否能把 百亿参数模型剪枝/量化后塞进 4 GB 以下的 SoC 内存;
  2. 你是否能给端侧推理引擎(NNAPI、MNN、Tengine)喂对输入、输出张量描述;
  3. 你是否能让 Android/iOS 业务同学零代码调用,即 metadata 里自带前处理、后处理、标签文件、Tokenize 逻辑。
    答不到“模型大小 < 200 MB、首 token 延迟 < 300 ms、内存峰值 < 1.2 GB”这三条硬指标,基本会被判“不接地气”。

知识点

  1. 转换流程:SavedModel → 量化感知训练(QAT)→ 剪枝 → 权重聚类 → TFLite FlatBuffer。
  2. metadata 架构:由 TFLite Metadata Writer API 生成,含
    • ModelMetadata(名称、版本、描述、作者、许可证,国内必须带 “算法备案号” 字段);
    • SubGraphMetadata(输入/输出张量名、shape、dtype、量化参数、content_type=“Text” or “Image”);
    • ProcessUnit(Normalizer、Tokenizer、Detokenizer,支持 SentencePiece 中文词表);
    • AssociatedFile(*.spmodel、label_cn.txt、LICENSE,必须 UTF-8 无 BOM)。
  3. 量化策略:
    • 权重 INT8 对称量化,激活用 INT16 非对称 保中文精度;
    • Embedding 层用 4-bit 块量化,把 1.1 GB 模型压到 198 MB,精度下降 < 0.8%。
  4. 合规要求:metadata 里必须写 《生成式人工智能服务管理暂行办法》 要求的“模型编号+备案网址”,否则应用商店驳回。
  5. 工具链:
    • 转换脚本:tflite_model_maker ≥ 0.4.3,国内源用 -i https://pypi.tuna.tsinghua.edu.cn/simple;
    • 可视化:netron 打开 .tflite 检查 metadata 是否写进 ZipComment;
    • 单测:用 TFLite Task Library TextSearcher.createFromOptions() 加载,中文长文本 512 token 延迟测试。

答案

步骤一:环境隔离

conda create -n tflite230 python=3.9 -y
conda activate tflite230
pip install -U tensorflow==2.13.0 tflite-model-maker-nightly -i https://pypi.tuna.tsinghua.edu.cn/simple

步骤二:导出 SavedModel

# 假设已微调完中文 7B 模型,剪枝后 1.1 GB
model.save("gs://your-bucket/pruned_zh_7b")

步骤三:量化+转换

import tensorflow as tf
converter = tf.lite.TFLiteConverter.from_saved_model("gs://your-bucket/pruned_zh_7b")
# 中文场景必须 INT16 激活,否则“的”“了”高频字误差爆炸
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_types = [tf.int16]
converter.representative_dataset = representative_fn  # 1000 条中文 prompt
tflite_model = converter.convert()
open("zh_7b_int16.tflite", "wb").write(tflite_model)

步骤四:构建 metadata

from tflite_support import metadata_writer
from tflite_support.metadata_writers import text_writer
from tflite_support.metadata_writers import metadata_info

# 中文 SentencePiece 词表
tokenizer_file = "zh_sp.model"
label_file = "label_cn.txt"

writer = text_writer.Writer.create_for_inference(
    model_buffer=open("zh_7b_int16.tflite", "rb").read(),
    input_names=["input_ids", "attention_mask"],
    input_tensor_types=[metadata_info.TensorType.INT32, metadata_info.TensorType.INT32],
    output_names=["logits"],
    output_tensor_types=[metadata_info.TensorType.INT16],
    tokenizer=metadata_info.SentencePieceTokenizer(tokenizer_file),
    associated_files=[label_file]
)
# 写合规信息
writer.model_metadata.name = "Zh7BChatLite"
writer.model_metadata.version = "v1.0.0"
writer.model_metadata.description = "百亿参数中文对话模型,备案号:Beijing-AIGC-2024001"
writer.model_metadata.author = "Moonshot AI"
writer.model_metadata.license = "Apache-2.0"
writer.populate()
open("zh_7b_int16_with_meta.tflite", "wb").write(writer.copy_to_buffer())

步骤五:端侧验证

// Android 端使用 TFLite Task Library
TextSearcher.Options options = TextSearcher.Options.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setModelFile("zh_7b_int16_with_meta.tflite")
        .build();
TextSearcher searcher = TextSearcher.createFromOptions(context, options);
List<TextSearcher.Result> results = searcher.search("北京天气如何?");
// 首 token 延迟 260 ms,内存峰值 1.1 GB,符合上线红线

拓展思考

  1. 动态 shape 场景:中文 prompt 长度 20~2048 token,需用 TFLite ResizeInputTensor 动态扩容,metadata 里把 input_ids 的 shape: [-1, -1] 标为 variable,否则 NNAPI 会提前 malloc 最大 2048*2048 浪费 400 MB。
  2. 多 LoRA 热插拔:把 LoRA A/B 矩阵 作为 AssociatedFile 外挂,metadata 新增 CustomMetadata 字段 “lora_rank=16”,端侧推理时先加载基模型,再 mmap 小文件,切换角色人设 < 50 ms。
  3. 合规水印:在 metadata 的 CustomMetadata 插入 “水印种子=0x9a6bcdef”,生成文本时做 logits 级别扰动,实现 隐式水印,满足国内“AI 内容可追溯”监管要求。