解读

面试官问的不是“有没有看过数据报告”，而是“你怎么保证喂给模型的那一桶‘外卖数据’不会把业务毒死”。在中国语境下，数据交易灰色地带多、合规红线高、标注灰色产业链成熟，一旦把脏数据混进训练集，轻则模型上线效果跳水，重则触发《个人信息保护法》高额罚单。因此，回答必须体现三层能力：①对国内数据供给链路的熟悉度；②可落地的质量工程化方案；③对偏见与合规风险的预判与兜底手段。回答节奏建议“先给全景，再给细节，最后留监控钩子”，让面试官听到你既能画架构，也能抠像素。

知识点

1. 国内数据供给生态：公开数据集（政府数据开放平台、竞技类数据集）、授权商用库（头部云厂商市场、垂直数据交易所）、灰色标注众包（QQ群、猪八戒、高校兼职）。
2. 数据质量六维：①完整性 ②一致性 ③准确性 ④时效性 ⑤无偏性 ⑥合规性。
3. 偏见类型与检测：采样偏差、标注者偏差、历史标签偏差；可用群体统计 parity、equal opportunity、分布漂移检验（χ²、KL 散度）量化。
4. 噪声注入场景：众包标注者乱填、爬虫去重不彻底、OCR 错误、低分辨率图像放大再压缩。
5. 合规红线：个人信息去标识化（GB/T 35273）、重要数据出境评估（《数据出境安全评估办法》）、核心数据不得出境。
6. 质量门禁模型：Supplier → 小样抽检 → 质量基线 → 合同SLA → 持续监控 → 奖惩账扣。
7. 技术工具链：Python+Great Expectations、Pandera、TensorFlow Data Validation；中文可用百度PaddleX数据审计插件、阿里DataWorks数据质量。
8. 业务指标反向验证：AUC、F1、CTR、客诉率、模型解释性SHAP分布突变，均可作为数据质量下降的间接信号。

答案

我会把评估拆成“选、验、管、赔”四步，每一步都给出可量化门槛，确保脏数据进不来、进来也能被快速发现。

1. 选：入围尽调
   a. 资质：检查《数据安全能力成熟度认证》（DSMM）、等保三级、ISO 27001，以及最近一年省级以上监管通报记录。
   b. 来源：要求提供上游数据源清单与授权链路，爬虫类数据必须出示 robots 协议及目标网站授权书，确保不踩《反不正当竞争法》第12条。
   c. 案例：让其提供同领域交付案例及客户验收报告，重点看模型上线后效果是否出现“周级跳水”。

2. 验：小样双盲实验
   a. 抽样：按供给总量千分之五随机抽样，但保证敏感属性（性别、地域、年龄）分布与官方普查差异<5%。
   b. 标注双盲：把样本拆成两份，由我们内部标注团队与供应商背靠背标注，Cohen’s κ≥0.8 才合格；κ<0.7 直接淘汰。
   c. 分布对赌：用最大均值差异（MMD）检测关键特征漂移，p>0.05 才算同分布；否则要求供应商补充数据直至通过。
   d. 偏见扫描：对敏感属性做demographic parity检验，差异超过0.05需重新采样；若用于金融风控，还需单独跑equal opportunity，差异>0.03即拒收。

3. 管：批量交付门禁
   a. 自动化规则：用Great Expectations写40条中文规则（身份证正则、地址与省市区三级一致性、手机号归属地匹配），每日新数据必须100%通过。
   b. 抽检比例：首单100%人工复检，后续按置信度递减，但每周至少抽10%复核；发现一次严重错误（如泄露个人敏感信息）即触发整批退回。
   c. 合规脱敏：用自研脱敏脚本（基于ACL 2022中文NER SOTA模型）扫描姓名、身份证号、地址，召回率≥99%，误杀率<1%；供应商需提供脱敏前后diff报告。
   d. 持续监控：模型上线后，用SHAP值监控每周特征分布，若Top10特征中来自第三方数据的变量漂移>0.3，自动告警并冻结该数据源。

4. 赔：合同经济约束
   a. SLA：准确性低于98%按数据金额1:1扣款；出现合规违规（如含明文身份证）按条计费5000元/条，上不封顶。
   b. 保险：要求供应商投保网络安全责任险，保额不低于1000万元，受益人写我方。
   c. 退出：连续两次抽检不合格或一次重大合规事件，立即启动“冷冻+替换”，并在行业内共享黑名单，避免换个马甲再入围。

通过“选验管赔”四步，我们既把质量风险前置，也给事后补救留了经济抓手，最终实现“脏数据零流入、偏见可量化、合规可追溯”。

拓展思考

1. 如果供应商是“独家稀缺数据”，无法替换，怎么谈？
   可提出“共建数据飞轮”：我们出算法与脱敏工具，对方出原始数据，在可信计算环境（TEE）或联邦学习平台里联合训练，原始数据不出域，既保护供应商壁垒，也降低我方合规风险。

2. 遇到“历史标签带偏见”怎么办？
   采用“标签矫正+重采样”双通道：先用模型预测原标签错误率，对高置信度错误样本重新标注；再用fairness-aware reweighting调整样本权重，确保训练分布与理想分布一致，最后在新旧模型上做A/B test，验证业务指标与公平性指标同时提升。

3. 如何向非技术高层汇报数据质量？
   把六维质量指标翻译成“一图一账”：雷达图展示六维得分，红色区域代表风险；另附“经济账”——若脏数据上线，预计客诉上升多少、营收损失多少、罚款多少，用人民币数字让决策层秒懂。