混沌工程/混沌测试/云原生测试/云平台测试

背景

  • 私有云/公有云/混合云等具有复杂,分布式,环境多样性等特点,许多特殊场景引发的线上问题很难被有效发现。所以需要引入混沌工程,建立对系统抵御生产环境中失控条件的能力以及信心,提高系统面对未知风险得能力。

目标

  • 帮助测试/研发/运维工程师提前发现各种异常场景引发的问题;
  • 持续进行故障演练,暴露系统问题,提升产研对质量的信心;
  • 全场景,便捷的故障注入方式,使其与研发流程更紧密结合,发挥更大价值;

什么是混沌工程?

混沌工程是一种通过主动制造故障场景并根据系统在各种压力下的行为表现确定优化策略的系统稳定性保障手段。简单来说,混沌工程通过主动注入故障的方式,提前发现问题并解决问题,从而规避风险

混沌工程的核心概念

混沌工程的核心在于通过模拟生产环境中的各种极端情况,如硬件故障、网络延迟、资源耗尽等,来测试系统的稳定性和可靠性。通过这些实验,可以暴露系统中的薄弱环节,并采取措施进行优化。

原则

建立一个围绕稳定状态行为的假说

"稳定状态"是指系统正常运行时的状态。具体来说,系统的稳定状态可以通过一些指标来定义,当系统指标在测试完成后,无法快速恢复稳态要求,可以认为这个系统是不稳定的。

  • 系统指标:CPU 负载、内存使用情况、网络 I/O等
  • 业务指标:吞吐率,错误率,p99延迟,数据一致性,消息触达准确性,时效性等
    因此需要建立稳定状态行为模型

复杂多变的系统运行环境

只要运行时间足够长,都会受到不可预测的事件和条件的影响。

基于这些情况:

  • 需要建立业务系统的故障模型

故障分级

故障等级:P0,P1,P2

故障等级=故障发生概率*故障发生影响

在生产环境中运行实验

越接近生产环境,对实验结果的信心就越足。

持续自动化运行实验

系统不断变化,越来越复杂,手动执行,难以长久持续。需要通过自动化来降低实验成本,并定期执行。

  • 固化典型混沌场景
  • 自动化进行结果分析
  • 降低创建新实验的门槛

怎么做:

  • 混沌场景梳理
  • 自动化工具&平台调研

最小化爆炸半径

暴露薄弱环节而不会意外造成更大规模的故障。

  • 范围可控
  • 随时停止实验并消除影响

步骤

  1. 选择一个假设
  2. 选择试验的范围
  3. 明确需要观察的 metric 指标
  4. 通知相关的团队
  5. 执行试验
  6. 分析结果
  7. 增大试验的范围
  8. 自动化
  9. 成熟度

复杂度

接受度

分产品混沌场景

梳理产品维度混沌场景,多用于多业务线合作的方式,开放自己的组件或基础服务时,需要先保障自己服务依赖的其他服务/系统/服务器得一些异常尽可能对自身造成最低的影响,以及当依赖服务/资源恢复时,自身可以主动进行服务恢复/数据同步/数据校验等

自动化平台方案

chaosblade

自研命令行工具自动化

企业内部演进

常见混沌场景

混沌异常场景来源于两类,梳理了常见异常,只做举例,大家参考

  • 资源类
  • 组件&服务类

资源类


组件&服务类

相关推荐
互联网杂货铺6 小时前
Postman接口测试:全局变量/接口关联/加密/解密
自动化测试·软件测试·python·测试工具·职场和发展·测试用例·postman
小扳7 小时前
微服务篇-深入了解 MinIO 文件服务器(你还在使用阿里云 0SS 对象存储图片服务?教你使用 MinIO 文件服务器:实现从部署到具体使用)
java·服务器·分布式·微服务·云原生·架构
aherhuo17 小时前
kubevirt网络
linux·云原生·容器·kubernetes
catoop18 小时前
K8s 无头服务(Headless Service)
云原生·容器·kubernetes
小峰编程19 小时前
独一无二,万字详谈——Linux之文件管理
linux·运维·服务器·云原生·云计算·ai原生
小马爱打代码19 小时前
云原生服务网格Istio实战
云原生
测试杂货铺20 小时前
如何用postman做接口自动化测试及完美的可视化报告?
自动化测试·软件测试·测试工具·职场和发展·jenkins·压力测试·postman
运维小文20 小时前
K8S中的PV、PVC介绍和使用
docker·云原生·容器·kubernetes·存储
爱学测试的李木子21 小时前
Python自动化测试的2种思路
开发语言·软件测试·python
ζั͡山 ั͡有扶苏 ั͡✾21 小时前
Kubeadm+Containerd部署k8s(v1.28.2)集群(非高可用版)
云原生·容器·kubernetes