解读

1. 场景定位：国内互联网/金融/运营商生产环境普遍采用两地三中心或同城双活，网络抖动、专线割接、云可用区隔离都会触发“脑裂”。性能测试工程师必须模拟分区，验证系统在 RPO=0 场景下的数据一致性。
2. 面试意图：
   • 是否能把“性能测试”视角与“分布式一致性”结合，给出可落地的测试方案，而不是背诵 Paxos 理论。
   • 能否量化差异、定位差异、闭环差异，最终证明“差异=0”且可持续。
3. 关键难点：
   • 分区期间各分区仍在写数据，重启后必然出现版本分叉。
   • 国内合规要求（人行、银保监会、工信部）对账务、订单、计费数据“零差错”容忍度为 0，必须给出数学级证明。

知识点

1. 脑裂模式：
   • 对称脑裂：双主均可写。
   • 非对称脑裂：仅一侧可写，另一侧只读或完全隔离。
2. 一致性模型：
   • 线性一致性（国内支付类系统强要求）。
   • 顺序一致性（订单、库存可接受）。
3. 差异量化指标：
   • 缺失行数、冲突行数、冲突字段数、CRC64 校验值不一致表数。
4. 校验算法：
   • 行级哈希环（Merkle Tree）分片比对，O(n) 复杂度，支持 10 亿行 5 分钟完成。
   • 窗口校验和：按主键区间滚动 64 KB 窗口，内存占用 <200 MB。
5. 差异收敛策略：
   • LastWriterWins 必须带全局唯一 Timestamp（国内用北斗/GPS 混合授时，误差<10 ms）。
   • 业务补偿：账务系统采用“红字冲正”交易，订单采用“幂等号”去重。
6. 性能测试工具：
   • 自研 ChaosNet：基于 eBPF 在 k8s CNI 层注入 120 s 单向分区，RTT 升高 200 ms、丢包 15%。
   • 数据校验平台：基于 Flink 双流 Join，每秒 500 万行差异检测，延迟 <30 s。

答案

回答采用“测试方案 + 工程落地 + 量化结果”三段式，总时长控制在 3 分钟。

1. 测试方案

   1. 分区模型：使用 ChaosMesh + tc/netem 模拟同城双活机房 3 次 5 min 对称脑裂，期间压测 8 k TPS 支付订单。
   2. 数据基准：分区前对各分片做全局快照，记录 max_seq、max_gts（全局时间戳）、CRC64。
   3. 校验时机：分区恢复后 30 s 内启动一致性校验，防止业务继续写入放大差异。

2. 工程落地

   1. 差异检测：
      • 按主键范围 100 万行为一个 Merkle Leaf，并行 400 线程比对，5 分 20 秒完成 8 亿行。
      • 输出差异明细：主键、字段、旧值、新值、最后修改 GTS。
   2. 差异收敛：
      • 账务表采用“以账套号为维度”的红字冲正，保证借贷平衡。
      • 库存表采用“先扣后加”幂等流水，重放时跳过已存在幂等号。
      • 全程使用 MySQL 8.0 的 group_replication_set_write_guard 函数，禁止新写入，确保收敛阶段无新差异。
   3. 零差异验证：
      • 收敛完成后立即二次全量校验，CRC64 完全一致；再随机抽样 1% 行做 MD5 逐字段比对，差异行数=0。
      • 输出《数据一致性报告》，由 DBA、业务、测试三方签字，上传至央行备案系统。

3. 量化结果

   • 三次脑裂测试平均差异 1 847 行/次，最大差异 3 102 行，收敛时间 4 min 35 s，最终差异 0，RPO=0，RTO<5 min。
   • 性能损耗：校验期间 CPU 增加 18%，QPS 下降 7%，在可接受范围。

拓展思考

1. 分区恢复后如果差异超过 1 万行，Merkle 树深度增加导致比对时间线性上升，如何优化？
   → 引入分层校验：先按“账期+用户尾号”做粗粒度桶比对，快速定位到异常桶，再细粒度行比对，可将 1 亿行差异场景压缩到 2 分钟。

2. 国内多云场景（阿里云+腾讯云）专线带宽仅 10 Gbps，全量 CRC 回源打满带宽，如何不影响实时业务？
   → 采用“边缘 CRC 缓存”：在 each VPC 内部先计算局部 CRC，再跨云只传输 256 bit 的顶层哈希，差异传输量下降 99.6%。

3. 性能测试如何持续回归？
   → 把脑裂用例固化到 nightly pipeline，每次版本发布自动跑 30 min 分区+校验，差异>0 即阻塞上线，实现“一致性门禁”。