解读

国内主流AR眼镜（如Rokid Air Pro、影创鸿鹄、Nreal Light）普遍基于Android系统，提供双目光学+IMU+手势摄像头模组，Unity端通过厂商SDK（如ARCore、HiAR、SenseAR）获取手势数据。面试官想确认候选人是否能把“手势识别→UI交互→性能优化→工程落地”整条链路跑通，而不是只会拖UGUI。重点考察：手势稳定性补偿、近场UI交互范式、帧率与发热控制、国产设备兼容性。

知识点

1. 手势数据链路：红外/双目摄像头→SDK回调→Unity层HandState（关节点、置信度、手势类型）
2. 近场交互范式：射线（poke）、悬停（hover）、捏合（pinch）、滑动（swipe）四种语义
3. 空间UI锚定：World Space Canvas + XR Origin跟踪，锚点绑定头部参考帧而非绝对世界坐标，防止头部移动导致菜单漂移
4. 防抖与误触：
   • 时间窗滤波：连续三帧置信度>0.8且手势类型一致才触发
   • 距离阈值：食指尖与虚拟按钮中心<2 cm且z深度误差<1 cm
   • 视觉反馈0.2 s内必须响应，降低用户“空点”焦虑
5. 渲染优化：
   • 手势识别线程与Unity主线程分离，避免SDK回调阻塞渲染
   • 菜单材质使用Unity内置Unlit/Color，关闭实时阴影与MSAA，Draw Call<30
   • 打开GPU Instancing合并同类图标，帧率保持≥50 fps，SoC温度<42 ℃（国内厂商出厂指标）
6. 热更新兼容：手势配置（阈值、图标、事件）放AssetBundle，通过HybridCLR或Addressables热更，不随安装包走应用商店审核
7. 国产设备适配：
   • 华为AR Engine与ARCore手势坐标系左右手镜像差异，需在运行时读取设备品牌动态翻转x坐标
   • 部分影创设备摄像头帧率30 fps，需降低Unity HandWorker线程采样到30 Hz，防止空帧抖动

答案

“我最近在Rokid Air Pro上落地过一套手势菜单，核心分四层：

1. 数据接入层：在Unity Player Settings里把Android minimum API设为26，导入Rokid Unity SDK，注册OnHandGesture回调，把原始21关节点转成自定义HandState结构，主线程只读线程安全队列，防止卡顿。
2. 交互逻辑层：用状态机划分Idle→Hover→Pinch→Release。Hover时按钮缩放1.1倍并播放高亮音，Pinch时把按钮的RectTransform世界坐标与食指尖做距离判断，连续三帧<2 cm且置信度>0.8才进入Pressed，同时触发Haptic（通过Android Vibrator接口振幅30 ms）。
3. 空间锚定层：菜单Canvas放在Camera前方1.2 m、下方0.2 m处，把Canvas的World Space Render Mode与XR Origin的Head节点绑定，头部旋转时菜单做滞后0.3 s的平滑跟随，降低眩晕。
4. 性能与热更层：图标采用ETC2_RGBA8压缩，图集512×512，Draw Call从58降到18；手势阈值配置放AssetBundle，通过HybridCLR在启动时热拉，版本迭代无需重新走应用商店。最终帧率稳定在55 fps，连续使用10分钟设备温度40.3 ℃，满足厂商要求。”

拓展思考

1. 如果手势摄像头被环境光淹没，如何优雅降级？→可切换为头部凝视+扳机键作为备用输入，动态切换交互模式需保持UI状态机一致，避免用户重新学习。
2. 多人协同场景，两个用户同时伸手，菜单归谁？→引入“最近活跃”策略，把Hand ID与User ID绑定，菜单只响应距离最近且正对手势向量夹角<30°的用户，并在Shader层给非活跃用户手部加半透明灰度，降低误触。
3. 未来升级到裸手6DoF追踪，菜单从2D面板变成3D控件，如何兼容旧热更？→在AssetBundle里加交互维度字段，旧包识别为2D则继续投射到Quad，新包识别为3D则实例化立体ButtonPrefab，实现平滑过渡。