Litmus:云原生混沌工程的利器
项目简介
Litmus 是一个开源的云原生混沌工程平台(Cloud-Native Chaos Engineering Platform),目前是 CNCF(Cloud Native Computing Foundation)的孵化项目。它提供了一个完整的框架,用于在 Kubernetes 集群上进行混沌工程实验,帮助团队验证系统在故障场景下的可靠性和韧性。
Litmus 最初由 MayaData 公司发起,后来捐赠给 CNCF,目前拥有活跃的社区和多种使用方式,包括 CLI 工具 litmusctl、ChaosCenter 可视化控制台,以及作为 Chaos 资源的声明式 API。
为什么需要混沌工程
在微服务和云原生架构中,系统组件之间的依赖关系复杂,任何一处故障(Pod 崩溃、网络延迟、节点宕机、磁盘 I/O 阻塞)都可能引发连锁反应。传统的测试只能验证”正常路径”,而混沌工程的核心思想是:主动向系统注入故障,观察系统的行为,从而在故障发生之前发现问题。
Litmus 正是把这一过程标准化、自动化、可重复的执行。
架构组成
Litmus 的架构核心围绕 Kubernetes CRD(自定义资源定义)来构建:
| 组件 | 作用 |
|---|---|
| ChaosCenter | 图形化控制台,用于管理实验、查看仪表盘、调度运行 |
| ChaosHub | 混沌实验的仓库,托管社区贡献的 Chaos 实验模板(ChaosExperiment / ChaosFault) |
| ChaosEngine / ChaosExperiment | 声明式定义”要在什么目标上执行什么故障、持续多久、成功条件是什么” |
| ChaosRunner | 实际执行具体的混沌操作(如 kill container、注入网络延迟) |
| LitmusChaos Operator | 监听 CRD 并协调整个实验生命周期 |
| Litmusctl | 命令行工具,支持对接自托管或云端 ChaosCenter |
其中最有特色的是 Chaos 实验的声明式定义。一个典型的实验定义如下:
apiVersion: litmuschaos.io/v1alpha1
kind: ChaosEngine
metadata:
name: nginx-chaos
namespace: default
spec:
appinfo:
appns: 'default'
applabel: 'app=nginx'
appkind: 'deployment'
chaosServiceAccount: pod-delete-sa
experiments:
- name: pod-delete
spec:
components:
env:
- name: TOTAL_CHAOS_DURATION
value: '30'
- name: CHAOS_INTERVAL
value: '10'
以上例子表示:针对 default 命名空间中标签为 app=nginx 的 Deployment,每隔 10 秒删除一次 Pod,持续 30 秒。这就是一个标准的”Pod 删除”混沌实验。
支持的故障类型
Litmus 的 ChaosHub 中提供了数量众多的实验,大致可以分为几类:
- Pod 级别故障:pod-delete、pod-cpu-hog、pod-memory-hog、container-kill、pod-network-latency、pod-network-loss、pod-dns-error 等
- 节点级别故障:node-drain、node-cpu-hog、node-memory-hog、node-io-stress 等
- Kubernetes 资源故障:deployment-scale-down、statefulset-delete、k8s-target 等
- 云服务类故障:AWS/EC2、GCP、Azure 相关的实验(如 cloud-instance-stop)
- 应用故障:HTTP 请求中断、MySQL/Redis 连接故障、Spring Boot 特定故障等
这些实验都可以作为模板直接使用,也可以基于 Go SDK 自行编写新的 Chaos 实验。
使用方式
1. 安装 ChaosCenter(推荐)
# 使用 Helm 安装 Litmus Portal helm repo add litmuschaos https://litmuschaos.github.io/litmus-helm/ helm install chaos litmuschaos/litmus --namespace litmus --create-namespace
安装后可通过浏览器访问 ChaosCenter,图形化管理实验、调度、查看结果。
2. 使用 litmusctl 命令行
# 安装 litmusctl curl -O https://litmuschaos.github.io/litmus/litmusctl-linux-amd64.tar.gz tar -xvf litmusctl-linux-amd64.tar.gz # 连接 ChaosCenter litmusctl config set-account --endpoint="http://litmus.example.com" # 创建实验 litmusctl create chaos-experiment -f chaos-experiment.yaml
3. 直接以 Kubernetes 资源方式部署
对于不想要 ChaosCenter 的场景,可以直接 kubectl apply ChaosEngine 和 ChaosExperiment 资源,让 Operator 驱动执行,这也是最适合嵌入式 CI/CD 流程的方式。
生产实践建议
- 从命名空间隔离开始:Chaos 实验本身有风险,建议先在非生产环境执行,逐步建立信心。
- 结合 SLO 判断实验成功:不要只看”实验是否完成”,而要通过监控指标判断业务是否在故障注入期间保持可接受的服务水平。
- 加入 CI/CD 流程:在发布流水线中加入小规模的混沌实验,作为发布前的可靠性门禁。
- 从简单实验开始:如 pod-delete,先验证应用是否有足够的冗余和自愈能力,再逐步扩展到网络、节点层面的故障。
- 利用 GameDay 模式:团队定期组织”混沌日”,在受控的时间窗口内做故障演练。
与其他工具的比较
Litmus 的核心优势在于深度 Kubernetes 原生:所有实验都是 CRD 声明式定义,天然适合 GitOps 流程;ChaosCenter 提供了较完整的可视化与调度能力;且实验模板库覆盖范围广。
与其对比的工具包括 Chaos Mesh(同样是 CNCF 项目,更侧重 CNI 层面的网络故障,设计偏底层的 Kernel/网络隔离)、ChaosBlade(阿里巴巴开源,支持非 K8s 场景更广)、Gremlin(商业化产品,SaaS 为主)。Litmus 在”K8s 实验模板丰富度 + CNCF 生态”上有明显优势,特别是对于已经运行在 Kubernetes 上的微服务团队。
总结
Litmus 把混沌工程从一种”手工技巧”变成了”云原生工程实践”。它通过 CRD 声明式 API、丰富的实验模板库、ChaosCenter 图形化平台以及 CLI 工具,让团队能够系统化地构建、运行和验证混沌实验。对于追求高可用性的 Kubernetes 团队来说,Litmus 是一个很值得纳入技术栈的可靠性工程工具。
如果你正在构建面向生产的 K8s 平台,不妨从一个简单的 pod-delete 实验开始,让 Litmus 帮你回答那个关键问题:“当故障发生时,我的系统真的能扛住吗?”




还没有评论,来说两句吧...