解读

面试官想验证三件事：

1. 你是否真正在端侧落地过大模型，而不是只跑过 demo；
2. 对Android 生态的异构计算栈（NNAPI → NPU/DSP/GPU → 驱动 → 芯片）有全链路调优经验；
3. 能把“INT8 量化 + 调度策略 + 功耗治理”做成可复现的 LLMOps 组件，而不是一次性 hack。
   “降低 40% 功耗”是结果指标，必须给出可量化的技术路径和验证方法，否则会被当场追问细节。

知识点

1. NNAPI 1.3+ 的 INT8 执行路径：
   • OperandCode::TENSOR_QUANT8_ASYMM_SIGNED 与 TENSOR_QUANT8_SYMM_PER_CHANNEL 的支持差异；
   • ANEURALNETWORKS_PREFER_SUSTAINED_SPEED 与 ANEURALNETWORKS_PREFER_LOW_POWER 的runtime hint 如何映射到 SoC 的 NPU 低功耗核。
2. 量化策略：
   • PTQ（Post-Training Quantization） vs QAT（Quantization Aware Training） 在百亿参数模型上的激活分布漂移问题；
   • Channel-wise vs Tensor-wise 对 MatMul+GELU 这种大矩阵块的精度-性能折中；
   • Embedding 层的INT4 压缩与查表实现在 NNAPI 上需要拆图为 Custom Op。
3. SoC 级功耗治理：
   • big.LITTLE 的 DVFS 曲线与NPU 的 Turbo 窗口（高通 8 Gen 2 为 200 ms，联发科 9300 为 150 ms）；
   • Android 13 的 ThermalService 如何回调 ThermalStatus::EMERGENCY 并触发 NNAPI 的 Execution::setPriority(LOW)；
   • systrace + perfetto 抓取 NPU 电源域的 uW 级功耗，并用 BatteryStatsHelper 生成可复现报告。
4. LLMOps 闭环：
   • 把上述步骤封装成 Gradle Plugin：量化 → 图优化 → 运行时调频 → 功耗基准测试一键执行；
   • 在 CI 流水线里用 Pixel 7 与荣耀 Magic5 做双机对比，回归测试功耗是否劣化 5% 即告警。

答案

分五步落地，每一步都给出可量化的收益，最终整机功耗下降 40% 且BLEU 下降 <0.3%。

1. 量化校准
   用 QAT + 8-bit 对称 per-channel 重新训练最后 10% 参数，KL 散度 <0.01 时停止；
   Embedding 层采用 INT4 分组量化（group-size 128），模型体积从 24 GB → 6.3 GB，DRAM 带宽下降 35%。

2. 图级优化
   将 Multi-Head Attention 的 QKV MatMul 合并为一次 ANEURALNETWORKS_BATCH_MATMUL，
   并在 NNAPI 1.4 里标记 ANEURALNETWORKS_OPERAND_EXTRA_PARAMS_CHANNEL_QUANT，
   让 高通 Hexagon NPU 走 HMX 指令，单核功耗降低 180 mW。

3. 运行时调度
   在 Java 层监听 PowerManager.ACTION_POWER_SAVE_MODE，
   一旦进入省电模式，ExecutionBuilder::setPriority(ANEURALNETWORKS_PRIORITY_LOW)
   并 setTimeoutDuration(15 ms)，NPU 频率从 900 MHz 降到 600 MHz，
   帧延迟增加 4 ms，但每 1k token 功耗下降 220 mW。

4. Thermal 反馈
   用 Android Thermal API 注册 ThermalStatus::MODERATE 回调，
   当壳温 >38 ℃ 时，动态把 BatchSize 从 128 降到 64，
   并把 GELU 近似为 LUT-16 分段函数，NPU 利用率下降 15%，
   整机功耗再降 120 mW。

5. 功耗基准与回归
   在 CI 流水线里用 Monsoon Power Monitor 采样 30 min 连续推理，
   以 Pixel 7 为金机，荣耀 Magic5 为靶机，
   统计 mWh/token 指标，MR 阶段若劣化 >5% 自动打回。
   经过 3 轮迭代，mWh/token 从 0.81 降到 0.48，整机功耗下降 40.7%，
   中文 Wiki 测试集 BLEU 仅下降 0.27%，满足上线红线。

拓展思考

1. 如果 NNAPI 驱动层不支持 per-channel，如何 fallback 到 GPU 并维持功耗目标？
   可拆图为 Tensor-wise INT8 + 4-bit 权重缓存，
   用 OpenCL 的 cl_arm_integer_dot_accumulate_int8 做 wave-level 累加，
   再绑定 GPU 最小频率 267 MHz，功耗仅增加 60 mW，仍低于 40% 收益线。

2. 当模型膨胀到 200B 参数，INT8 激活内存仍占 12 GB，如何进一步压缩？
   引入 2:4 结构化稀疏 + INT4 激活量化，
   在 NNAPI 1.5 里用 ANEURALNETWORKS_SPARSE_TENSOR 扩展，
   让 联发科 NPU 的 Sparsity Engine 做 skip MAC，
   实测每 1k token 再降 90 mW，端到端功耗下降 48%，
   但需要重新设计 Calibration Dataset 以保证长尾知识不丢失。