解读

面试官想验证三件事：

1. 你是否把“多模态”当成“冗余通道”而非“炫技”，真正用互补模态补齐听觉信息缺口；
2. 能否把“无障碍”拆成可量化的算法指标与产品指标，并给出数据闭环方案；
3. 是否熟悉国内合规（《无障碍环境建设法》《YD/T 3696-2020 移动互联网应用无障碍技术要求》）与商业落地成本，在PRD里做出权衡。

知识点

1. 信息等价三原则：内容等价、时效等价、交互等价。
2. 多模态冗余策略：听觉通道缺失→视觉/触觉通道补偿；高优场景（警报、通知、对话）必须100%可达。
3. 算法侧关键技术：
   • 语音→文字：中文流式ASR（支持方言、嘈杂环境）、说话人分离、标点与情绪标签；
   • 非语音听觉→文字：环境声分类（警笛、敲门、婴儿哭）、频谱→图文卡片；
   • 文字→视觉：实时字幕、悬浮窗、弹幕、AR眼镜叠加；
   • 文字→触觉：振动编码（0.5-1 s模式库）、骨传导手环、腕部摩斯振动；
   • 反向输入：手写/手势/眼动→文字→语音合成，实现双向沟通。
4. 数据闭环：
   • 冷启动：与聋人协会、深圳信息无障碍研究会合作，采集2000小时“聋人场景”语音+环境声，标注带情绪、说话人ID；
   • 迭代：线上埋点“字幕开关率”“误弃听率”，每周回灌错误case，3周一次微调；
   • 合规：音频数据需通过“个人信息匿名化”评估，存储在境内IDC，加密等级≥AES-256。
5. 产品指标：
   • 核心算法：句准字准≥95%，环境声召回≥92%，端到端延迟≤400 ms；
   • 用户体验：首次配置≤3步，字幕遮挡面积≤8%屏幕，振动识别准确率≥98%；
   • 商业：新增功耗≤ baseline 120 mW，云端成本≤0.3元/小时/用户。
6. 风险与权衡：
   • 实时字幕与隐私：提供本地ASR选项，云端模式默认关闭；
   • 高并发：边缘GPU fallback 方案，单卡支持500路并发；
   • 法规：需通过工信部“无障碍”专项评测，否则应用商店无法上架。

答案

“我会把目标拆成‘听得见’‘听得懂’‘能参与’三步，用多模态冗余实现信息等价。

第一步，听得见：
核心算法采用流式ASR+环境声事件检测双通道。ASR在安静场景字准≥97%，嘈杂地铁场景通过16kHz骨传导拾音+降噪模型，字准≥95%；环境声用8kHz轻量CNN，30 ms一帧，输出15类关键事件（警笛、敲门、开水沸）。产品形态上，默认悬浮字幕条，支持横竖屏自动避让安全区域；同时提供蓝牙振动手环，把高频事件映射为3段式振动模式，确保在口袋场景也能感知。

第二步，听得懂：
字幕不只是文字，还要还原情绪与说话人。算法侧引入speaker diarization，一句话内最多4人，颜色标签区分；情绪用语音情感模型输出“中性/高兴/着急”，用emoji前缀呈现。PRD里定义“情绪还原率”指标，≥90%才算可用。

第三步，能参与：
听力障碍用户需要反向表达。提供“一键打字转语音”悬浮窗，内置12种中文TTS音色，支持0.8-1.2倍速；同时接入眼动输入API，对无法打字的用户，12字内短句输入延迟≤3秒。

数据闭环上，冷启动与聋人协会签署数据合作协议，采集2000小时真实对话，标注带情绪、说话人ID；上线后通过“字幕纠错”按钮收集用户反馈，每周回灌500条高置信错误，3周微调一次，持续优化。

合规与成本方面，字幕渲染走本地GPU，零流量；ASR可选本地int8模型（30 MB）或云端大模型，云端默认关闭，确保通过《无障碍环境建设法》与工信部评测。整体功耗增加≤120 mW，单用户云端成本≤0.3元/小时，在客户可接受范围内。”

拓展思考

1. 如果目标场景换成“线下零售收银”，如何在不增加店员操作负担的前提下，用同一套多模态能力让听障顾客完成结账？
2. 当AR眼镜成为主流终端，字幕从手机屏幕迁移到镜片，需重新设计FOV、遮挡率与隐私透传，PRD指标如何调整？
3. 国内地铁、医院等公共广播系统尚未开放音频接口，如何推动G端提供“音频馈送”API，形成政企共建的无障碍数据联盟？