系统稳定性 = 多方法论的综合编排

一、业务问题

系统稳定性是所有线上服务第一优先级——一个不稳定的系统，其他所有优点都归零。但"稳定"是结果，不是方法。工程团队每天面对的实际问题：

"服务经常 OOM，怎么根治？"
"大促流量来了，先扛不住的是哪个环节？"
"上线新功能怕引发雪崩，怎么灰度？"
"出故障时排障太慢，能不能自愈？"
"多机房部署，怎么切换才能不丢单？"

这些问题的解法不是单一的——一个稳定系统需要多方法论按特定结构编排。

二、控制论视角

系统稳定性 = 工程版的"控制系统稳定性"。

控制系统稳定的数学条件：
  闭环极点全部在 s 平面左半部
  → 干扰下系统能回到平衡状态

软件系统稳定的工程条件：
  故障下系统能保持核心服务可用
  → 故障被隔离、被恢复、可降级

核心结构对位：

控制系统	软件系统
闭环反馈	监控+告警+自愈
复合控制	业务规则+实时调节
自适应控制	自适应限流、自动扩缩容
协调控制	多机房多活、SLO 分层
冗余容错	主备、集群、故障转移
解耦控制	限界上下文、服务隔离

钱学森 Ch 4 §4.6 的话同样适用：

"反馈控制系统在扰动作用下的稳态误差，等于扰动信号除以 1+K_开环。增大 K_开环可以减小稳态误差，但 K_开环过大又会使系统不稳定。"

软件对位：加大监控密度（K_开环）可减少盲区，但告警过多反而失稳——这是告警分级存在的根本原因。

三、方法论编排

3.1 编排总图

                    ┌─────────────────────┐
                    │  战略层（防）         │
                    │  bounded-context     │
                    │  限界上下文隔离       │
                    └──────────┬──────────┘
                               ↓
              ┌────────────────────────────────┐
              │  战术层（测/警/控）              │
              │  alert（告警分级+滞回）          │
              │  feedback-loop（反馈闭环）       │
              │  extremum-seeking（自寻最优）   │
              └──────────┬─────────────────────┘
                         ↓
              ┌──────────────────────────────┐
              │  战略层（容）                  │
              │  redundancy-fault-tolerance   │
              │  多机房+主备+故障转移          │
              └──────────────┬────────────────┘
                             ↓
              ┌──────────────────────────────┐
              │  编排层（自适应）              │
              │  HPA + 自适应限流 + 自愈       │
              └──────────────────────────────┘

3.2 方法论分工表

方法论	在稳定性中的角色	控制结构对位
bounded-context	战略层：故障隔离（限界内爆炸不波及其他）	解耦控制
alert	战术层：告警分级，避免告警风暴	闭环反馈（告警环节）
feedback-loop	战术层：完整监控-告警-调节-恢复链路	闭环反馈（整体）
extremum-seeking	战术层：自寻最优参数（如限流阈值）	自适应控制
redundancy-fault-tolerance	战略层：主备+多活，扛住局部失效	冗余结构
conway / team-topology	编排层：组织结构匹配服务边界	协调控制

3.3 时间线

故障发生前的稳定性建设（T-∞ 到 T-0）：

战略层（防）：
  - 限界上下文划分（避免大爆炸半径）
  - 主备+多活（单机房故障不灭）

战术层（测/警）：
  - 多级 SLO 监控
  - 告警分级 + 滞回
  - 自适应限流配置

编排层（控）：
  - HPA 弹性伸缩
  - 自愈系统（异常检测+重启）
  - 故障演练（chaos engineering）

故障发生时的稳定性保持（T-0 到 T+recovery）：

检测（秒级）：
  - 监控发现异常
  - 告警分级触发

隔离（秒级）：
  - 熔断器打开
  - 服务降级

恢复（分钟级）：
  - 故障转移
  - 自愈重启
  - 流量切回

复盘（小时-天级）：
  - 故障根因分析
  - 改进措施

四、端到端案例：电商大促

场景：618 大促，瞬时 QPS 是日常 50 倍。

第 1 步：战略层 — 限界上下文隔离

架构：
  订单域 ──→ 库存域 ──→ 支付域
  
  隔离措施：
  - 域间异步通信（消息队列）
  - 域内有独立降级方案
  - 域间不共享数据库

控制论对位：解耦控制 — 任一域爆炸不影响其他域。

第 2 步：战术层 — 多级监控

L1 业务监控：GMV、订单量、转化率
  ↓
L2 服务监控：订单服务 QPS、错误率
  ↓
L3 资源监控：CPU、内存、连接池使用率

告警分级：
  - L1 偏离基线 50%：企业微信 + 电话
  - L2 错误率 > 1%：钉钉
  - L3 CPU > 90%：PagerDuty

控制论对位：串级控制 — 内外时间常数分离。

第 3 步：战术层 — 告警分级

软激发：阈值 80%，渐进响应
  - 通知运维
  - 启动预案

硬激发：阈值 95%，硬响应
  - 自动限流
  - 自动扩容

滞回窗口：上升阈值 95%，下降阈值 80%
  - 避免在边界震荡

控制论对位：软硬激发 + 滞回 — 见 alert.md。

第 4 步：编排层 — 复合控制（自动限流）

前馈（基于历史大促数据）：
  baseline_QPS = 50万
  提前 1 周预扩容到 50万容量

反馈（基于实时监控）：
  实际错误率 > 1% → 动态降级阈值
  实际 CPU > 80% → 触发限流

控制论对位：复合控制 — 前馈（预测）+ 反馈（实测）。

第 5 步：战略层 — 冗余容错

多机房部署：
  - 同城双活（机房间秒级切换）
  - 异地灾备（RPO < 5min）
  - 数据库主从（自动故障转移）

控制论对位：冗余结构 — 用不可靠组件构造可靠系统。

第 6 步：编排层 — 自适应控制（HPA）

K8s HPA 配置：
  min_replicas: 10
  max_replicas: 1000
  target_cpu: 70%
  scale_up_step: 100  # 一次加 100
  scale_down_step: 10  # 一次减 10（慢减）
  stabilization_window: 5min  # 滞回

控制论对位：自适应控制 — 慢调整 + 滞回。

五、反模式（错误组合）

反模式	症状	缺什么方法论	应该改用
告警风暴	半夜被叫醒，发现是已知问题	alert（缺告警分级）	加告警分级 + 滞回
熔断即雪崩	一个服务熔断引发级联	bounded-context（缺隔离）	加限界上下文
扩容不收敛	加机器仍扛不住	alert（缺告警分级） + extremum-seeking	加告警 + 自寻最优
回滚变翻车	故障回滚反而引发新问题	perturbation-theory（缺增量思维）	加灰度 + 增量回滚
多机房同挂	异地部署但同时挂	redundancy-fault-tolerance（缺真实隔离）	多 AZ + 真实物理隔离
无演练	真出故障时不知道怎么处理	缺 chaos engineering	加故障演练
监控指标过多	监控覆盖全但没人看	缺信息论指导	用互信息筛选关键指标

六、稳定性成熟度模型

Level 1：被动响应

出问题才知道
救火式处理
没有监控

Level 2：主动监控

有监控告警
7×24 值班
事后复盘

Level 3：告警分级 + 自愈

告警分级
简单自愈（重启、切换）
灰度发布

Level 4：自适应 + 复合

自适应限流
自动扩缩容
业务规则+实时调节

Level 5：协调控制

多机房多活
全局 SLO
故障自愈
组织协调

L1 → L5 演进的关键方法论升级：

L1 → L2：加监控告警
L2 → L3：加告警分级 + 自愈（alert + feedback-loop）
L3 → L4：加自适应（extremum-seeking + 复合控制）
L4 → L5：加多级协调（协调控制 + bounded-context）

七、与其他主题的关系

主题	与稳定性的关系
可观测性建设	稳定性依赖可观测性（看不见则不可控）
性能调优	性能瓶颈常被误诊为"不稳定"
架构演进	不好的架构是稳定性的根源问题
数据一致性	不一致常表现为"系统不稳定"

八、控制结构引用

本主题综合调用以下控制结构：

控制结构	在本主题中的位置
开环控制	静态部署（无监控）= 开环，必须升级
闭环反馈	监控-告警-调节链路
串级控制	多级 SLO 分层
复合控制	业务规则+实时调节（风控、限流）
解耦控制	限界上下文隔离
自适应控制	HPA、自适应限流
协调控制	多机房多活、跨域协调
冗余结构	主备+多活

九、钱学森原话总结

Ch 4 §4.6（反馈决定稳定）： "没有反馈，就没有自动控制。"

Ch 4 §4.8（三难困境）： "片面的追求某一个高指标会使其他的性能受到影响。"

Ch 7 §7.5（软硬激发 + 滞回）： "如果系统的自激振荡能够由于离开平衡状态的微小偏差而自动地形成，那么，它就称为软的自激振荡；如果离开平衡状态足够大的偏差才能引起自激振荡，这个自激振荡就称为硬的自激振荡。"

Ch 18（自适应）： "自适应控制系统是这样一种系统：它能在被控对象参数发生较大范围变化的情况下，自动地调整控制律的参数，使系统仍能满足设计要求。"

Ch 19（冗余容错）： "用不可靠的元件组成可靠的系统是大系统设计的重要原则。"

十、总结

系统稳定性 = 多方法论按层级编排：

层级	战略	战术	编排
目标	故障隔离	测得准/告警对/调节快	自适应+协调
方法论	bounded-context	alert + feedback-loop	extremum-seeking + redundancy
控制结构	解耦 + 冗余	闭环 + 串级 + 复合	自适应 + 协调

核心原则：

战略层用解耦+冗余（防）
战术层用闭环+串级+复合（测/警/控）
编排层用自适应+协调（演化）

一句话总结：稳定性不是单一方法，是一组方法论在防/测/控/演四层的综合编排。

与 cybernetics 升格页面的联系

8 个控制结构对系统稳定性的贡献：

控制结构	在稳定性中的作用	L 层位置
闭环	反馈纠偏	L4 closed-loop
串级	多级反馈	L4 cascade
复合	前馈+反馈	L2 compound
解耦	多变量分离	L2 decoupling
最优	性能边界	L2 optimal
自适应	演化能力	L5 adaptive
协调	多子系统	L5 coordination
开环	简单控制	L1 open-loop

与 IDDD 升格页面的联系：

稳定性 = 聚合 4 规则：小聚合稳定
稳定性 = 风险驱动架构：识别稳定性风险
稳定性 = 集成成熟度模型：选稳定集成方式

系统稳定性 = 多方法论的综合编排 ​

一、业务问题 ​

二、控制论视角 ​

三、方法论编排 ​

3.1 编排总图 ​

3.2 方法论分工表 ​

3.3 时间线 ​

四、端到端案例：电商大促 ​

第 1 步：战略层 — 限界上下文隔离 ​

第 2 步：战术层 — 多级监控 ​

第 3 步：战术层 — 告警分级 ​

第 4 步：编排层 — 复合控制（自动限流） ​

第 5 步：战略层 — 冗余容错 ​

第 6 步：编排层 — 自适应控制（HPA） ​

五、反模式（错误组合） ​

六、稳定性成熟度模型 ​

七、与其他主题的关系 ​

八、控制结构引用 ​

九、钱学森原话总结 ​

十、总结 ​

与 cybernetics 升格页面的联系 ​