如何用 TensorFlow Lite 转换并构建 metadata?
解读
在国内大模型落地场景中,TensorFlow Lite(TFLite) 是端侧部署的“最后一公里”标配工具。面试官问“转换并构建 metadata”,核心想验证三件事:
- 你是否能把 百亿参数模型剪枝/量化后塞进 4 GB 以下的 SoC 内存;
- 你是否能给端侧推理引擎(NNAPI、MNN、Tengine)喂对输入、输出张量描述;
- 你是否能让 Android/iOS 业务同学零代码调用,即 metadata 里自带前处理、后处理、标签文件、Tokenize 逻辑。
答不到“模型大小 < 200 MB、首 token 延迟 < 300 ms、内存峰值 < 1.2 GB”这三条硬指标,基本会被判“不接地气”。
知识点
- 转换流程:SavedModel → 量化感知训练(QAT)→ 剪枝 → 权重聚类 → TFLite FlatBuffer。
- metadata 架构:由 TFLite Metadata Writer API 生成,含
- ModelMetadata(名称、版本、描述、作者、许可证,国内必须带 “算法备案号” 字段);
- SubGraphMetadata(输入/输出张量名、shape、dtype、量化参数、content_type=“Text” or “Image”);
- ProcessUnit(Normalizer、Tokenizer、Detokenizer,支持 SentencePiece 中文词表);
- AssociatedFile(*.spmodel、label_cn.txt、LICENSE,必须 UTF-8 无 BOM)。
- 量化策略:
- 权重 INT8 对称量化,激活用 INT16 非对称 保中文精度;
- Embedding 层用 4-bit 块量化,把 1.1 GB 模型压到 198 MB,精度下降 < 0.8%。
- 合规要求:metadata 里必须写 《生成式人工智能服务管理暂行办法》 要求的“模型编号+备案网址”,否则应用商店驳回。
- 工具链:
- 转换脚本:
tflite_model_maker≥ 0.4.3,国内源用-i https://pypi.tuna.tsinghua.edu.cn/simple; - 可视化:
netron打开.tflite检查 metadata 是否写进 ZipComment; - 单测:用 TFLite Task Library
TextSearcher.createFromOptions()加载,中文长文本 512 token 延迟测试。
- 转换脚本:
答案
步骤一:环境隔离
conda create -n tflite230 python=3.9 -y
conda activate tflite230
pip install -U tensorflow==2.13.0 tflite-model-maker-nightly -i https://pypi.tuna.tsinghua.edu.cn/simple
步骤二:导出 SavedModel
# 假设已微调完中文 7B 模型,剪枝后 1.1 GB
model.save("gs://your-bucket/pruned_zh_7b")
步骤三:量化+转换
import tensorflow as tf
converter = tf.lite.TFLiteConverter.from_saved_model("gs://your-bucket/pruned_zh_7b")
# 中文场景必须 INT16 激活,否则“的”“了”高频字误差爆炸
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_types = [tf.int16]
converter.representative_dataset = representative_fn # 1000 条中文 prompt
tflite_model = converter.convert()
open("zh_7b_int16.tflite", "wb").write(tflite_model)
步骤四:构建 metadata
from tflite_support import metadata_writer
from tflite_support.metadata_writers import text_writer
from tflite_support.metadata_writers import metadata_info
# 中文 SentencePiece 词表
tokenizer_file = "zh_sp.model"
label_file = "label_cn.txt"
writer = text_writer.Writer.create_for_inference(
model_buffer=open("zh_7b_int16.tflite", "rb").read(),
input_names=["input_ids", "attention_mask"],
input_tensor_types=[metadata_info.TensorType.INT32, metadata_info.TensorType.INT32],
output_names=["logits"],
output_tensor_types=[metadata_info.TensorType.INT16],
tokenizer=metadata_info.SentencePieceTokenizer(tokenizer_file),
associated_files=[label_file]
)
# 写合规信息
writer.model_metadata.name = "Zh7BChatLite"
writer.model_metadata.version = "v1.0.0"
writer.model_metadata.description = "百亿参数中文对话模型,备案号:Beijing-AIGC-2024001"
writer.model_metadata.author = "Moonshot AI"
writer.model_metadata.license = "Apache-2.0"
writer.populate()
open("zh_7b_int16_with_meta.tflite", "wb").write(writer.copy_to_buffer())
步骤五:端侧验证
// Android 端使用 TFLite Task Library
TextSearcher.Options options = TextSearcher.Options.builder()
.setBaseOptions(BaseOptions.builder().useGpu().build())
.setModelFile("zh_7b_int16_with_meta.tflite")
.build();
TextSearcher searcher = TextSearcher.createFromOptions(context, options);
List<TextSearcher.Result> results = searcher.search("北京天气如何?");
// 首 token 延迟 260 ms,内存峰值 1.1 GB,符合上线红线
拓展思考
- 动态 shape 场景:中文 prompt 长度 20~2048 token,需用 TFLite ResizeInputTensor 动态扩容,metadata 里把 input_ids 的
shape: [-1, -1]标为 variable,否则 NNAPI 会提前 malloc 最大 2048*2048 浪费 400 MB。 - 多 LoRA 热插拔:把 LoRA A/B 矩阵 作为
AssociatedFile外挂,metadata 新增CustomMetadata字段 “lora_rank=16”,端侧推理时先加载基模型,再 mmap 小文件,切换角色人设 < 50 ms。 - 合规水印:在 metadata 的
CustomMetadata插入 “水印种子=0x9a6bcdef”,生成文本时做 logits 级别扰动,实现 隐式水印,满足国内“AI 内容可追溯”监管要求。