解读

在国内 XR 项目面试中，这道题考察的是候选人对 输入系统可降级（Graceful Degradation） 的理解深度。
Hand Tracking 代表“无手柄交互”，Controller Fallback 代表“手柄兜底”。
Unity 端需要把两套输入抽象成同一套业务事件，同时保证 国产头显（Pico、奇遇、YVR、华为 VR Glass） 在系统版本、权限、光照条件不满足时，能 零感知切换到手柄，避免玩家卡在 UI 或无法继续游戏。
回答时要体现“引擎层适配 + 业务层无感 + 性能兜底”的三层思维，而不是简单罗列 API。

知识点

1. Hand Tracking 技术栈

   • OpenXR Hand Tracking Extension（Unity 2021.3 LTS 以后官方包 com.unity.xr.openxr）
   • XR Hands（com.unity.xr.hands 1.3+）提供 Hand Joint、Pinch、Poke 事件
   • 国产 SDK 对应接口：PicoXR Plugin 的 PXR_HandTracking、奇遇的 QiyuHand API
   • 权限：AndroidManifest 需声明 com.picoxr.handtracking 或 com.huawei.vr.hand
   • 性能：60 fps 下关节数据 52×2 根骨骼，主线程耗时 <1 ms，GPU Skinning 开启后可降低 0.3 ms

2. Controller Fallback 触发条件

   • 系统层：用户主动关闭手势、光照不足、手部离开 FOV 1.2 s、CPU 过热降频
   • 应用层：Hand Tracking 置信度 <0.5 连续 10 帧、关节数据无效（NaN）、玩家点击“切换手柄”按钮
   • Unity 端通过 InputSystem.onDeviceChange 监听 XRController 的添加事件，一旦收到 XRController.leftHand 或 rightHand 设备加入，立即把 HandTrackingDevice 的 enabled 置 false，防止双输入冲突

3. 框架层抽象

   • 定义 IXRInputProvider 接口：Vector2 Primary2DAxis、bool Trigger、bool Grip、event OnSelect
   • HandTrackingProvider 与 ControllerProvider 分别实现，通过 ProviderManager 在 Update 循环按优先级轮询，高优先级无效时自动回退
   • UI 交互：XR Interaction Toolkit 2.5+ 的 XRUIInputModule 支持同时绑定 XRControllerInteractor 与 XRPokeInteractor，切换时保持 IInteractable.selected 状态机不重置

4. 热更新兼容

   • 使用 HybridCLR 或 lua 脚本 下发交互配置，可在线上把“ pinch 阈值 0.8 降到 0.7”或“ fallback 延迟 10 帧改为 5 帧”，无需整包更新

5. 性能与发热

   • 手势算法在 DSP/NNAPI 上跑，Unity 端只做读取；若检测到 >38 ℃ 电池温度，主动提示用户切回手柄，防止降频导致眩晕

答案

Hand Tracking 是头显通过摄像头+深度学习实时估算手部 26 关节骨骼数据，使玩家无需手柄即可完成点击、拖拽、手势识别等交互；Controller Fallback 是当 Hand Tracking 因权限、光照、性能或用户主动关闭而失效时，系统 零感知降级到手柄输入 的机制。
在 Unity 端，我通过 OpenXR Hand Tracking Extension 或 PicoXR Plugin 获取关节数据，封装成 HandTrackingProvider；同时监听 InputSystem.onDeviceChange，一旦检测到 XRController 设备加入，立即把交互主设备切换为 ControllerProvider，保持 IXRInputProvider 接口层事件一致，UI 的 XR Interaction Toolkit 选择 Interactor 时自动重新绑定，玩家无感知。
降级策略：置信度 <0.5 连续 10 帧或手部离开 FOV 1.2 s 即触发 fallback，并在 UI 右上角 toast 提示“已切换为手柄”，避免玩家卡在半空无法点击。
性能方面，手势数据在 DSP 端推理，Unity 主线程耗时 <1 ms，同时监控电池温度 >38 ℃ 时主动提示用户切回手柄，防止降频眩晕。整套方案已在 Pico 4、奇遇 Dream Pro 上线，用户投诉率下降 42%。

拓展思考

1. 如果项目要求 “裸手+手柄”混合操作（一手柄一手势），如何防止输入冲突？
   答：在 ProviderManager 层增加 “混合模式” 枚举，按左右手分别指定 Provider，UI Interactor 的 attachTransform 动态绑定到对应关节或控制器，事件队列加 handedness 标记，保证 OnSelect 只响应对应手。

2. WebGL 端也想用手势，但浏览器只支持 WebXR Hand Input Module，且只有 3 关节，如何复用现有框架？
   答：在 HandTrackingProvider 内部加 “简化骨骼映射” 分支，把 3 关节插值到 26 关节，保持上层接口不变；fallback 直接切换到鼠标，实现 “裸手→鼠标” 的无缝降级。

3. 未来做 “数字孪生工厂”，需要 毫米级精度 的裸手交互，但 Hololens 2 手势误差 1 cm 级别，如何改进？
   答：引入 UWB 指环 或 红外反光标 做 IMU+视觉融合，在 Unity 端用 Kalman Filter 二次滤波，误差可降到 0.3 mm，同时把指环电量也接入 fallback 逻辑，电量 <10% 自动切换回裸手或手柄，保证 7×24 产线不停工。