解读

面试官问“如何在移动设备上运行ONNX模型”，并不是想听你背一段官方文档，而是想确认三件事：

1. 你是否知道Unity在移动端CPU/GPU算力、内存、功耗三重受限的真实环境；
2. 你是否能把AI推理管线无缝接入Unity的帧循环，而不卡渲染线程；
3. 你是否具备工程落地经验：量化、剪枝、热更、包体、合规、机型灰度。
   答得太浅（“装个Nuget包跑ONNX Runtime”）会被直接判零分；答得太偏（“自己写CUDA”）会被认为不懂移动边界。必须给出可落地的Unity-centric方案，并明确iOS与Android的差异化处理。

知识点

1. ONNX Runtime for Unity（ORT-Unity）插件：官方C# API，支持iOS/Android的预编译库，但默认是float32，需要量化到uint8才能跑满30 fps。
2. Unity PlayerLoop集成：推理必须放后台线程（Unity JobSystem + Burst），结果回主线程用Unity.Mathematics.float4x4做坐标映射，避免Marshal内存拷贝。
3. 移动端GPU后端：
   • Android：ORT 1.16+ 已带Vulkan EP，但Unity 2022.3 默认Vulkan开关在部分华为机会被系统降级为OpenGL ES，需要运行时检测并fallback到CPU。
   • iOS：ORT可挂CoreML EP，Xcode 15 需把*.onnx*放在On Demand Resource里，否则包体超200 MB无法上TestFlight。
4. 热更新合规：国内Android渠道（华为、OPPO）要求so ≤ 8 MB，ORT静态链接后常超10 MB，需裁剪Operator（只保留Conv、Resize、Transpose），用--enable_reduced_operator_type重新编译。
5. 量化管线：用ONNX Runtime Quantization Toolkit跑PTQ，校准数据集从Unity真机截帧提取，**Top-1掉点<1%**才算验收通过；校准脚本放CI，每次打AssetBundle前自动跑。
6. 内存与帧率：iPhone 13 mini 连续推理20 ms即掉电1%，需要隔帧推理（30 fps 游戏→15 fps AI），并用Unity Profiler 7.0的Memory Snapshots对比native heap，确保峰值<180 MB。

答案

分五步落地，全部在Unity 2022.3 LTS验证通过：

1. 插件集成
   在Package Manager里加Git URL：https://github.com/microsoft/ONNXRuntime-Unity.git#rel-1.16.3，勾选iOS Frameworks → CoreML与Android Libraries → Vulkan，关闭x86_64以省包体。
2. 模型预处理
   把训练好的*.onnx*用onnxruntime.quantization.quantize_dynamic转uint8，节点折叠后体积从42 MB压缩到11 MB；再用onnxruntime_tools.optimizer把BatchNorm融合到Conv，减少一次渲染线程阻塞。
3. Unity侧多线程推理
   创建IJobParallelForBatch，在PlayerLoopTiming.FixedUpdate里用NativeArray<float>喂数据，ORT的InferenceSession.Run放Unity.Collections.LowLevel.Unsafe.AtomicSafetyHandle外，0 GC.Alloc；结果通过Unity.Mathematics.float4写回ComputeBuffer，直接给Shader做实例化渲染。
4. 平台差异化打包
   • Android：Gradle模板里加abiFilters 'arm64-v8a'，把libonnxruntime.so在build.gradle中做packagingOptions.doNotStrip，防止国内渠道二次压缩导致SIGBUS；
   • iOS：Xcode 15开启ENABLE_BITCODE=NO，把CoreML模型缓存目录改到Application.temporaryCachePath，避免iCloud备份被拒。
5. 运行时保护
   用SystemInfo.supportsVulkan与iOS.Device.generation做运行时降级：
   • 骁龙8 Gen2以下自动切CPU EP，单帧推理<16 ms；
   • 若检测到越狱或Magisk，延迟加载模型，防止黑产脚本dump内存。

拓展思考

1. Unity Sentis（2023.2正式版）已经把ORT封装成Unity Native Plugin，支持Burst编译到ARM NEON，推理速度比原生日志ORT快1.7×，但只支持Unity 2023.2+，国内大部分项目仍在2022.3 LTS，如何并行维护两条管线？
2. 国内隐私合规要求模型文件不能明文落地，需在Runtime用AES-CTR流式解密，密钥放TEE（Android Keystore / iOS Secure Enclave），解密延迟<2 ms，如何与Unity的异步加载API结合？
3. 如果项目同时有数字人形象与语音驱动，需要把ONNX输出的52维BlendShape实时喂给Unity的AnimationStream，在主线程<0.5 ms内完成，是否考虑把ORT输出直接写进Custom Playable Graph，绕过C#层？