如何定义AI产品的'死亡指标',即哪些信号表明该产品已无继续投入价值?

解读

面试官想验证三件事:

  1. 你能否把“技术成功”与“商业成功”解耦,避免“模型指标好却业务亏钱”的陷阱;
  2. 你能否在数据、算法、合规、成本四条线上同时设定可量化、可审计的“红线”,而不是拍脑袋;
  3. 你能否在组织内推动“体面下线”,把资源腾给更高ROI的项目,而不是无限“输血”。

知识点

  1. 死亡指标必须同时覆盖“商业面、技术面、合规面、资源面”,且提前写入项目 charter,经财务、法务、算法、业务四方会签。
  2. 指标分两级:
    • 红线指标(Hard Kill):一旦触发,30 天内进入下线流程,无需二次审批;
    • 预警指标(Soft Kill):连续两季度不达标,触发“续命评审”,需 CEO 或管委会一票否决。
  3. 所有指标必须“可快照”——即评审当天能从 BI、MLops、财务系统直接拉数,杜绝事后解释。
  4. 国内特有三道高压线:算法备案失效、数据出境违规、生成内容造成重大舆情(≥50 篇负面热搜或监管约谈),任意触发即红线。
  5. 计算成本时,要折算“国产算力券”与“地方补贴”后的真实现金支出,避免政府补贴退坡后突然死亡。

答案

示范一套可直接落地的“死亡指标”框架,按红线/预警两档呈现,所有阈值写入项目 OKR:

一、商业面

  1. 红线:
    • 单用户贡献毛利(Gross Profit Per User,GPPU)连续 3 个月 < –0.8 元,且环比无回升;
    • 获客成本/生命周期价值(CAC/LTV)> 1.2,且市场预算缩减 30% 后仍无法降到 1 以内;
    • 客户付费转化漏斗最后一环(如“模型调用→付费”)月转化率 < 0.5%,且已做两轮迭代优化。
  2. 预警:
    • 月活跃客户数(MAC)环比负增长 ≥15%,连续两季;
    • 新签合同中算法模块金额占比 < 15%,显示 AI 溢价消失。

二、技术/数据面

  1. 红线:
    • 核心业务场景模型 AUC 提升已低于 0.003/季度,且数据增益(新增有效样本数)< 5%;
    • 线上真实数据漂移(PSI)> 0.3,持续 4 周,且重训后指标回弹 < 50%;
    • 数据标注成本占收入比 > 25%,或因隐私合规导致 30% 以上训练数据不可使用。
  2. 预警:
    • 模型推理 P99 延迟连续 30 天高于 SLA 1.5 倍,客户投诉量因此上升 20%;
    • 国产替代芯片适配后,算力利用率 < 40%,导致毛利率再降 5 个百分点。

三、合规/舆情面

  1. 红线:
    • 算法备案被监管机构驳回且二次申报仍不通过;
    • 因生成式内容出现重大舆情,48 小时内负面声量占比 > 30%,或被中央网信办约谈;
    • 数据安全审查导致服务器强制下架 > 20% 算力。
  2. 预警:
    • 季度内收到 3 份以上省级以上监管整改通知;
    • 用户举报率(举报次数/总调用)> 0.1%,且呈上升趋势。

四、资源/财务面

  1. 红线:
    • 扣除地方算力补贴后,单月净现金 burn > 立项预测基线的 150%,且融资缺口无法在未来 6 个月补齐;
    • 项目 ROI 预测曲线显示,即使按最乐观收入翻倍情景,回本周期仍 > 36 个月。
  2. 预警:
    • 核心算法团队流失率 > 30%/半年,导致模型迭代停摆;
    • 云资源预付款锁价到期,预计下期账单上涨 ≥40%。

落地流程

  1. 立项评审即签字确认上述指标与阈值;
  2. MLOps 与 BI 系统每周自动快照,超标邮件直达 PMO、财务、法务负责人;
  3. 红线触发后 5 个工作日内,PM 提交《AI 产品下线草案》,含数据归档、模型封存、客户迁移方案;
  4. 预警触发后,进入“30 天续命窗口”,由产品负责人向管委会汇报自救计划,失败即升级至红线流程。

拓展思考

  1. “死亡指标”不是静态的,需随补贴、算力价格、监管细则年度复盘一次;
  2. 对于政府/国企项目,可增加“政策预算取消”或“主管领导更换”作为外部红线,避免无限期试点;
  3. 多模态大模型场景下,要把“内容安全过滤成本”单独核算,防止因审核链路过长吃掉全部毛利;
  4. 下线后建议保留“最小可用模型”与脱敏数据 3 年,以备监管回查,同时把 GPU 资源立刻划转至更高 ROI 项目,实现“尸检即器官捐献”。