解读

面试官真正想考察的是：

1. 你是否把“融合层”当成可插拔、可演化的中间件，而不是一次性代码；
2. 能否在不破坏线上服务的前提下，用最小代价把新模态塞进现有链路；
3. 对国内落地场景（边缘盒子、昇腾/寒武纪芯片、国产化协议）有没有体感。
   一句话：让老融合层“无感”接纳热成像，同时保证延迟、精度、成本三角平衡。

知识点

1. 协议层统一：无论可见光、红外、热成像，先转成国标GB/T 28181-2022或Onvif Profile M的元数据流，避免私有格式。
2. 特征空间对齐：用共享的Embedding Adapter把热成像特征映射到现有多模态空间，参数<1%即可，训练时只调Adapter。
3. 融合层抽象：把融合层拆成Modality-Agnostic Tensor Hub（MATH）+Modality-Specific Encoder Hub（MSEH），新增模态只注册MSEH，不动MATH。
4. 动态路由：基于**门控网络（Gating Network）**自动决定热成像权重，防止冷启动阶段拉低整体指标。
5. 国产芯片适配：在昇腾310/910上把热成像预处理（14-bit→8-bit、NUC校正）下沉到DVPP硬件模块，减少CPU拷贝。
6. 安全合规：热成像涉及隐私，需在融合前做温度匿名化（≥37℃区域加随机偏移），满足《个人信息保护法》第26条。
7. 灰度回滚：用Kubernetes+Volcano做模态级灰度，一旦NPU利用率>80%或FPS下降>5%，自动回滚到旧融合层。

答案

分五步落地，全部在现有K8s+MindSpore栈内完成，零中断上线。
第一步：协议收口
把热成像相机接入海康8700平台，通过PSIA转GB28181网关输出H.265+温度元数据双码流，保证与原有可见光通道时钟同步（PTP≤1 ms）。

第二步：特征对齐
热成像分支新增轻量Adapter：1×1卷积+LayerNorm，把640×512×1的14-bit温度图压缩到224×224×3的伪RGB，再送进共享的Swin-Tiny backbone。Adapter参数量仅0.8 M，冻结主模型，用LoRA微调200 step即可收敛，mAP掉点<0.3。

第三步：融合层注册
在MATH配置中心新增一条json：

{"modality":"thermal","encoder":"thermal_adapter_swin","gating_weight_init":0.15,"fps":30}

MATH内部Multi-Head Cross Attention无需改动，热成像Key/Value直接拼到原有KV-cache，内存增量<5%。

第四步：门控冷启动
上线初期把门控网络temperature softmax的τ设为5.0，强制热成像权重≤0.2；运行48 h后，用线上回流数据重新估计τ，逐步放开到1.0，实现平滑放大。

第五步：监控与回滚
通过Prometheus+Ascend Exporter采集NPU利用率、DDR带宽、端到端延迟；一旦P99延迟>120 ms或误检率>0.8%，Argo Rollout自动切回旧版本，整个过程用户无感知。

上线效果：在深圳湾口岸无人值守通道项目中，新增热成像后，夜间口罩漏检率从1.7%降到0.4%，单路成本仅增加￥120（边缘盒子已预留接口），复用原有融合层代码0行改动。

拓展思考

1. 如果下一步再接入毫米波雷达点云，是否继续用同一套MATH？
   答：雷达是稀疏3D数据，建议把MATH升级为Sparse-Dense Hybrid Transformer，在Cross Attention前加Voxel Pooling，其余注册流程不变，仍保持零改动融合层。
2. 当热成像与可见光存在5像素以上空间偏移时，如何在线标定？
   答：用基于互信息的梯度下降做无标定板对齐，每10 min触发一次，CPU占用<3%，满足国产化边缘盒子资源限制。
3. 若未来出现16-bit高动态热成像，如何防止Adapter量化误差？
   答：在昇腾910B上启用FP16+Loss Scale，Adapter输出先dequantization到FP32再进融合层，NPU原生支持，无需回退到CPU。