解读

面试官问“如何设置敏感词库以降低封号风险”，表面看是技术活，实则考察候选人能否把内容安全与用户生命周期价值做平衡：既要让平台不被监管“点名”，又不能误杀真实用户导致留存下滑。国内监管强调“先审后发”“全覆盖”，同时《网络信息内容生态治理规定》《互联网用户账号信息管理规定》对平台方实行“连带责任”，一旦漏放或误放都可能触发下架、下架、罚款甚至刑事责任。因此，回答必须体现三层思维：①合规红线——知道哪些词绝对不能出现；②业务视角——理解不同场景、不同用户层级的容忍度差异；③数据闭环——用指标量化敏感词库对活跃、留存、转化的影响，并持续迭代。

知识点

1. 三级分层词库模型：红线词（法律明令禁止）、高压词（行业监管重点）、灰度词（易引发投诉或舆情）。
2. 场景策略：注册、昵称、签名、发帖、评论、私信、直播弹幕、群组名称各场景需独立词包+差异化拦截阈值。
3. 动态更新机制：每日爬取网信办通报、热搜、竞品公告、公安通报，通过NLP新词发现+人工复核实现T+1上线。
4. 用户分层豁免：对高等级/实名/企业认证用户降低误杀，引入先审后发+人工复核通道，减少“误封”带来的投诉率。
5. 指标监控：核心看拦截准确率（Precision）、召回率（Recall）、误杀率（False Positive Rate）、投诉率（申诉量/拦截量），目标把误杀率控制在**0.3%**以内。
6. 灰度发布：任何词库变更先走1%流量桶观察24小时，确认投诉率无异常再全量。
7. 应急熔断：出现舆情突发事件（如明星塌房、社会事件），30分钟内可上线事件临时词包，事件平息后72小时内下线，防止过度拦截。
8. 多端同步：确保APP、小程序、H5、PC、OpenAPI五端词库版本一致，避免“一端放过、多端封号”的漏洞。

答案

“我会用‘三层四维五步’的方法来设置敏感词库，兼顾合规与业务增长。

第一步，搭三层词库：
①红线词——涉政、涉暴恐、涉黄赌毒等法律禁止内容，采用全匹配+MD5指纹，零容错，直接封号；
②高压词——网信办月度通报、行业专项整治名单，采用关键词+正则+语义相似度，触发即隐藏内容+限制流量，人工二次复核；
③灰度词——易引发舆情的谐音、暗语、梗，用NLP聚类+人工标注，先降权再决定是否升级拦截策略。

第二步，分四个维度动态更新：
①政策维度——每日监控中央网信办、公安部、广电总局官网及官方微博；
②舆情维度——爬取微博、抖音、小红书热搜榜TOP200，发现新梗2小时内入库；
③竞品维度——跟踪同行公告、应用商店下架声明，反向补漏；
④用户投诉维度——把客服工单、APP内举报高频词倒排进词库，实现“用户反哺”。

第三步，落地五步闭环：

1. 灰度发布：任何新增或删除先在1%用户桶跑24小时，监控误杀率、投诉率、留存率；
2. 分层豁免：对VIP3以上或企业认证用户启用“先审后发”通道，减少误封；
3. 多端同步：通过统一配置中心推送，确保APP、小程序、PC、OpenAPI五端版本号一致；
4. 指标复盘：每周输出敏感词运营周报，核心指标包括拦截准确率≥98%、误杀率≤0.3%、投诉率环比下降；
5. 应急熔断：遇到突发舆情，30分钟内上线临时事件词包，72小时内评估下线，防止过度拦截导致用户流失。

通过以上机制，我们曾在Q2把误封投诉量从日均120单降到9单，同时DAU留存提升1.8%，实现了合规与增长的平衡。”

拓展思考

1. AIGC场景的新挑战：生成式内容用传统关键词极易绕过，可引入语义向量+对抗样本检测，并设置人机回圈（human-in-the-loop）复核。
2. 多语言与方言：国内用户常用粤语、闽南语、藏语、维语谐音暗语，需要方言语音识别+拼音模糊匹配双通道。
3. 私域与公域差异：在企业微信、社群等私域场景，用户对“被监控”更敏感，可采用后置审计而非实时拦截，降低用户反感。
4. 合规自动化趋势：网信办已在试点**“AI监管沙盒”，平台可主动接入监管API**，实现官方敏感词实时同步，减少自身试错成本。