高可用--限流&熔断&降级

熔断

熔断是应对微服务雪崩效应的一种链路保护机制。

场景

  • 服务端出现问题
    • 服务指标:响应时间、错误率、连续错误数等,超过阈值出发熔断。
    • 硬件指标:CPU、网络IO、内存

目的

  • 服务端恢复需要时间、服务端需要休息
  • 避免全调用链路崩溃,不能再把请求再发给Server了,一旦堆积也会造成其他服务出现问题

手段

  • 熔断器直接抛出熔断的异常响应,三个状态切换,决定是否处于熔断状态

流程

  1. Server被监控到异常,出发熔断,熔断器抛出熔断的异常响应
  2. Client收到异常,利用负载均衡重新选择节点,后续请求不再打到被熔断的节点
  3. 一段时间后,Client再对这个节点重新请求,如果正常响应,则缓慢对这个节点放开流量,如果仍然是熔断状态,则继续执行Step2,如此循环

限流

场景 & 目的

  • 突发的流量增大,使系统崩溃

  • 判断指标:节点当前连接数、QPS等

静态算法

一般情况下,令牌产生速率/漏桶"开口速率"决定处理请求速率。

  • 令牌桶:系统以恒定速率产生并把令牌放到桶里,每个请求从桶里拿到令牌才会被执行,反之被限流

  • 漏桶:(令牌桶的桶容量是0就是漏桶)系统匀速产生令牌,没被取走也不会积攒下来。系统处理请求时均匀的。

  • 固定窗口:固定时间段内,只执行固定数量的请求。

  • 滑动窗口:滑动窗口随着时间线挪动窗口。

动态算法:BBR

类似于 TCP 的拥塞控制,根据一系列指标来判定是否需要触发限流。

流程

  • 在中间件记录流量和阈值,并在中问件中实现限流算法。
  • 对于偶发性的触发限流,只要在超时范围内,可以同步阻塞等待请求被处理。
  • server的某个节点触发了 非偶发性限流,Client 利用负载均衡调低该节点的权重,尽量少向这个节点发请求。

如何确定阈值

  • 阈值太低,导致资源被闲置;國值太高,导致系统撑不住而崩溃。
  • 上线后看监控,根据业务峰值 QPS 来约定阈值。
  • 上线前做压测,找准限流的阈值。

熔断&限流&降级关系

熔断是完全不再发请求,限流是降低发送请求的频率。

熔断是防止雪崩效应发生提前触发;

降级

场景&目的

  • 系统出现故障后的补救措施;或可预见的故障前的应对措施,来保证整体的可用性。
  • 对非核心业务降级,为核心业务留出更多资源。

手段

  • 考虑停用部分监控埋点、日志上报等观测类中间件。
  • 根据业务场景判断,停用边缘服务,返回服务繁忙之类的响应。
  • 对于有缓存的接口,降级时只查缓存,不查 DB,没命中缓存则返回错误的响应。

终:核心思想

  • 如何判断节点的健康状态?是否需要熔断/限流/降级?
    • 通过监控看指标:QPS、连接数、节点负载等
  • 熔断/限流/降级后,怎么恢复?
    • 熔断/限流搭配负载均衡,等节点恢复正常后,再重新选择
    • 降级有时是手动恢复
相关推荐
Elastic 中国社区官方博客13 天前
通过 AIOps 、生成式 AI 和机器学习实现更智能的可观测性
大数据·人工智能·elasticsearch·机器学习·搜索引擎·ai·可用性测试
終不似少年遊*18 天前
【软测】接口测试 - 用postman测试软件登录模块
软件测试·测试工具·json·postman·web·可用性测试
Elastic 中国社区官方博客24 天前
使用 OpenTelemetry 和 Elastic 简化公共部门的可观察性
大数据·elasticsearch·搜索引擎·全文检索·可用性测试·opentelemetry
星之尘10211 个月前
“粽”览全局:分布式系统架构与实践深度解析(端午特别版)
分布式·spring cloud·微服务·系统架构·kubernetes·serverless·可用性测试
Feng.Lee1 个月前
聊一聊如何使用自动化测试来提高接口测试效率的?
功能测试·测试工具·可用性测试
Elastic 中国社区官方博客1 个月前
Elasticsearch Synthetic _source
大数据·运维·elasticsearch·搜索引擎·全文检索·可用性测试
hnlucky1 个月前
《基于Keepalived+LVS+Web+NFS的高可用集群搭建》
java·linux·运维·前端·web·可用性测试·lvs
爱吃java的羊儿1 个月前
2025软考高级信息系统项目管理师英文选择题---技术类常见英语词汇
人工智能·信息可视化·软件工程·产品经理·可用性测试
爱吃java的羊儿2 个月前
信息系统项目管理师高级-软考高项案例分析备考指南(2023年案例分析)
信息可视化·软件工程·产品经理·可用性测试
理智的煎蛋2 个月前
keepalived+lvs
java·开发语言·集成测试·可用性测试