被动故障检测

被动故障检测(节点宕机,网络分区)场景下的 RTO 时序分析

Pigsty 提供了四种 RTO 配置策略,下面是对三类故障场景下,不同 RTO 模式的最差,最优,平均 RTO 的计算逻辑与结果分析。

被动检测

节点宕机/网络分区场景(被动检测)RTO 对比

模式最好 RTO平均 RTO最坏 RTOTTL 占比
fast17s22s29s80%
norm28s33s41s83%
safe53s63s78s87%
wide97s128s168s82%

故障路径

RTO 计算公式

RTO = TTL等待 + 从库检测 + 竞争锁 + promote + HAProxy_UP
    = (ttl - loop_wait ~ ttl) + (0 ~ loop_wait) + 选举 + HAProxy_UP

RTO 构成分析

RTO = TTL等待 + loop_wait + 选举(~1s) + HAProxy_UP
      \_____/   \______/
      主要固定成本  可变成本
  • 固定成本:TTL 等待是最大成本(占 80%~87%),这是被动检测的本质代价
  • 可变成本:从库检测延迟(0 ~ loop_wait)
  • HAProxy 延迟:仅计算 rise × fastinter(UP 检测),DOWN 检测与选举并行,不在关键路径

TTL 等待时间的精确计算

Patroni Leader 每 loop_wait 续约一次,将 TTL 重置为完整值。当节点宕机时:

  续约周期示意图:
  
  ──────────────────────────────────────────────────────────────→ 时间
     │                    │                    │
   续约                  续约                  续约
   TTL=ttl              TTL=ttl              TTL=ttl
     │←── loop_wait ───→│
     
  如果故障发生在 Δt 处(续约后 Δt 时间):
  TTL 剩余 = ttl - Δt
  由于 Δt ∈ [0, loop_wait)
  所以 TTL 等待 ∈ (ttl - loop_wait, ttl]

与主动检测(PG 崩溃)的关键差异

对比项主动检测(PG 崩溃)被动检测(节点宕机)
主要控制参数primary_start_timeoutttl
Patroni 状态存活,主动处理失效,无法响应
锁释放方式主动释放自然过期
RTO 公式核心2×loop_wait + primary_start_timeout(ttl-loop_wait~ttl) + loop_wait

fast 模式

参数: ttl=20, loop_wait=5, inter=1s, fastinter=500ms, rise=2, fall=2

最好结果

阶段操作耗时说明
1节点宕机,停止续约0sPatroni + PG 同时失效
2等待 TTL 过期15sttl - loop_wait = 20 - 5(故障恰好在续约前)
3从库检测到 Leader 锁过期0s从库恰好在 HA loop 检查点
4从库竞争 Leader 锁0.1sDCS 单次写操作
5执行 pg_ctl promote0.5sWAL 已同步,promote 快速完成
6HAProxy 检测新主 UP1srise=2 × fastinter=500ms
总计17s

最坏结果

阶段操作耗时说明
1节点宕机,停止续约0sPatroni + PG 同时失效
2等待 TTL 过期20s完整 ttl = 20(故障恰好在刚续约后)
3从库检测到 Leader 锁过期5s从库 HA loop 恰好错过,等待下一轮
4从库竞争 Leader 锁0.5sDCS 操作 + 网络延迟
5执行 pg_ctl promote1spromote + 少量 WAL 回放
6HAProxy 检测新主 UP2srise=2 × inter=1s(从 DOWN 状态开始)
总计29s

平均结果

阶段操作耗时说明
1节点宕机,停止续约0sPatroni + PG 同时失效
2等待 TTL 过期18sttl - loop_wait/2 = 20 - 2.5
3从库检测到 Leader 锁过期2.5sloop_wait/2
4从库竞争 Leader 锁0.3sDCS 操作平均延迟
5执行 pg_ctl promote0.7spromote 平均时间
6HAProxy 检测新主 UP1srise=2 × fastinter
总计22s

小结

阶段操作最好平均最坏
1节点宕机,停止续约0s0s0s
2等待 TTL 过期15s18s20s
3从库检测到 Leader 锁过期0s2.5s5s
4从库竞争 Leader 锁0.1s0.3s0.5s
5执行 pg_ctl promote0.5s0.7s1s
6HAProxy 检测新主 UP1s1s2s
总计17s22s29s

fast 模式下节点宕机场景 RTO 范围为 17s ~ 29s,平均约 22s。TTL=20s 是主要耗时(占 80%),由于 loop_wait=5s 的续约频率,实际 TTL 等待范围被压缩到 15~20s。此配置适合同机房低延迟环境,追求最快的被动故障恢复。


norm 模式

参数: ttl=30, loop_wait=5, inter=2s, fastinter=1s, rise=2, fall=3

最好结果

阶段操作耗时说明
1节点宕机,停止续约0sPatroni + PG 同时失效
2等待 TTL 过期25sttl - loop_wait = 30 - 5(故障恰好在续约前)
3从库检测到 Leader 锁过期0s从库恰好在 HA loop 检查点
4从库竞争 Leader 锁0.1sDCS 单次写操作
5执行 pg_ctl promote0.5sWAL 已同步,promote 快速完成
6HAProxy 检测新主 UP2srise=2 × fastinter=1s
总计28s

最坏结果

阶段操作耗时说明
1节点宕机,停止续约0sPatroni + PG 同时失效
2等待 TTL 过期30s完整 ttl = 30(故障恰好在刚续约后)
3从库检测到 Leader 锁过期5s从库 HA loop 恰好错过,等待下一轮
4从库竞争 Leader 锁0.5sDCS 操作 + 网络延迟
5执行 pg_ctl promote1spromote + 少量 WAL 回放
6HAProxy 检测新主 UP4srise=2 × inter=2s(从 DOWN 状态开始)
总计41s

平均结果

阶段操作耗时说明
1节点宕机,停止续约0sPatroni + PG 同时失效
2等待 TTL 过期28sttl - loop_wait/2 = 30 - 2.5
3从库检测到 Leader 锁过期2.5sloop_wait/2
4从库竞争 Leader 锁0.3sDCS 操作平均延迟
5执行 pg_ctl promote0.7spromote 平均时间
6HAProxy 检测新主 UP2srise=2 × fastinter=1s
总计33s

小结

阶段操作最好平均最坏
1节点宕机,停止续约0s0s0s
2等待 TTL 过期25s28s30s
3从库检测到 Leader 锁过期0s2.5s5s
4从库竞争 Leader 锁0.1s0.3s0.5s
5执行 pg_ctl promote0.5s0.7s1s
6HAProxy 检测新主 UP2s2s4s
总计28s33s41s

norm 模式下节点宕机场景 RTO 范围为 28s ~ 41s,平均约 33s。TTL=30s 是主要耗时因素(占 83%)。这是生产环境的平衡选择,在故障恢复速度和集群稳定性之间取得折中。


safe 模式

参数: ttl=60, loop_wait=10, inter=3s, fastinter=1s, rise=2, fall=3

最好结果

阶段操作耗时说明
1节点宕机,停止续约0sPatroni + PG 同时失效
2等待 TTL 过期50sttl - loop_wait = 60 - 10(故障恰好在续约前)
3从库检测到 Leader 锁过期0s从库恰好在 HA loop 检查点
4从库竞争 Leader 锁0.2sDCS 单次写操作
5执行 pg_ctl promote0.5sWAL 已同步,promote 快速完成
6HAProxy 检测新主 UP2srise=2 × fastinter=1s
总计53s

最坏结果

阶段操作耗时说明
1节点宕机,停止续约0sPatroni + PG 同时失效
2等待 TTL 过期60s完整 ttl = 60(故障恰好在刚续约后)
3从库检测到 Leader 锁过期10s从库 HA loop 恰好错过,等待下一轮
4从库竞争 Leader 锁1sDCS 操作 + 网络延迟
5执行 pg_ctl promote1spromote + 少量 WAL 回放
6HAProxy 检测新主 UP6srise=2 × inter=3s(从 DOWN 状态开始)
总计78s

平均结果

阶段操作耗时说明
1节点宕机,停止续约0sPatroni + PG 同时失效
2等待 TTL 过期55sttl - loop_wait/2 = 60 - 5
3从库检测到 Leader 锁过期5sloop_wait/2
4从库竞争 Leader 锁0.5sDCS 操作平均延迟
5执行 pg_ctl promote0.7spromote 平均时间
6HAProxy 检测新主 UP2srise=2 × fastinter=1s
总计63s

小结

阶段操作最好平均最坏
1节点宕机,停止续约0s0s0s
2等待 TTL 过期50s55s60s
3从库检测到 Leader 锁过期0s5s10s
4从库竞争 Leader 锁0.2s0.5s1s
5执行 pg_ctl promote0.5s0.7s1s
6HAProxy 检测新主 UP2s2s6s
总计53s63s78s

safe 模式下节点宕机场景 RTO 范围为 53s ~ 78s,平均约 63s。TTL=60s 提供了充足的容错窗口(占 87%),能有效避免短暂网络抖动导致的误判。此配置适合对稳定性要求极高、可容忍分钟级中断的场景。


wide 模式

参数: ttl=120, loop_wait=30, inter=5s, fastinter=2s, rise=3, fall=5

最好结果

阶段操作耗时说明
1节点宕机,停止续约0sPatroni + PG 同时失效
2等待 TTL 过期90sttl - loop_wait = 120 - 30(故障恰好在续约前)
3从库检测到 Leader 锁过期0s从库恰好在 HA loop 检查点
4从库竞争 Leader 锁0.5sDCS 单次写操作(广域网延迟)
5执行 pg_ctl promote0.5sWAL 已同步,promote 快速完成
6HAProxy 检测新主 UP6srise=3 × fastinter=2s
总计97s

最坏结果

阶段操作耗时说明
1节点宕机,停止续约0sPatroni + PG 同时失效
2等待 TTL 过期120s完整 ttl = 120(故障恰好在刚续约后)
3从库检测到 Leader 锁过期30s从库 HA loop 恰好错过,等待下一轮
4从库竞争 Leader 锁2sDCS 操作 + 广域网延迟
5执行 pg_ctl promote1spromote + 少量 WAL 回放
6HAProxy 检测新主 UP15srise=3 × inter=5s(从 DOWN 状态开始)
总计168s

平均结果

阶段操作耗时说明
1节点宕机,停止续约0sPatroni + PG 同时失效
2等待 TTL 过期105sttl - loop_wait/2 = 120 - 15
3从库检测到 Leader 锁过期15sloop_wait/2
4从库竞争 Leader 锁1sDCS 操作平均延迟
5执行 pg_ctl promote0.7spromote 平均时间
6HAProxy 检测新主 UP6srise=3 × fastinter=2s
总计128s

小结

阶段操作最好平均最坏
1节点宕机,停止续约0s0s0s
2等待 TTL 过期90s105s120s
3从库检测到 Leader 锁过期0s15s30s
4从库竞争 Leader 锁0.5s1s2s
5执行 pg_ctl promote0.5s0.7s1s
6HAProxy 检测新主 UP6s6s15s
总计97s128s168s

wide 模式下节点宕机场景 RTO 范围为 97s ~ 168s(约 1.6~2.8 分钟),平均约 128s(约 2.1 分钟)。TTL=120s 和 loop_wait=30s 提供极强的容错能力(TTL 占 82%),适合广域网/跨数据中心部署。此配置优先保证不误判,代价是故障切换时间较长。