什么时候外部依赖接口慢拖死应用?

A应用调用B应用,当B应用的接口响应耗时平均都在3000ms的时,如果当前A调用B的请求数达300/s 那么在3s内A应用在途的请求数 = 300 * 3 =900 ,按照servlet原理一个http的请求需要一个线程提供服务,即需要900个线程提供服务,tomcat线程数一般就1500左右,假设数字我们在变一下:

|--------|---------|------------------|------------|
| 耗时 | qps | 3000ms内需要线程数 | 备注 |
| 3000ms | 300 | 900 | 应用争抢cpu |
| 3000ms | 400 | 1200 | 应用基本抢不到cpu |
| 3000ms | 500 | 1500 | 应用完全死机 |
| 4000ms | 300 | 1200 | 应用基本死机 |
| 4000ms | 400 | 1600 | 应用基本死机 |
| 4000ms | 500 | 2000 | 应用完全死机 |

针对上面的场景,为了保护A应用不被外部B应用响应慢拖死,需要合理设置A调用B的接口超时时间,但是B接口的超时是不可避免的,网络随时抖动,B应用可能故障,B应用可能性能瓶颈,A请求量增大导致B扛不住等。所以A做的措施

  1. 设置合理接口超时时间
  2. A调用B设置熔断
  3. 上游调用A设置限流
    1. 注意一定是线参数限流模式,因为qps限流当尖峰流量来的时候,同时遇到B响应慢,则A可能瞬间线参数打满,A直接夯死了

以上问题是我在生产上遇到过的,当时8个实例的应用,B应用耗时3s-4s,瞬间A实例的线参数打打到1500-1600,A的所有实例打死了7个,这个时候调整限流qps,熔断时间等已经来不及,因为应用早已经打死了,只能重启。所以一定要有线程数限流的模式做兜底,不管你qps调整多高,要用线程数模式来兜底一次,当前这个接口,需要最大,最多分配多少线程来提供服务?

相关推荐
Lee川15 小时前
深度拆解:基于面向对象思维的“就地编辑”组件全模块解析
javascript·架构
勤劳打代码15 小时前
Flutter 架构日记 — 状态管理
flutter·架构·前端框架
子兮曰21 小时前
后端字段又改了?我撸了一个 BFF 数据适配器,从此再也不怕接口“屎山”!
前端·javascript·架构
卓卓不是桌桌1 天前
如何优雅地处理 iframe 跨域通信?这是我的开源方案
javascript·架构
Qlly1 天前
DDD 架构为什么适合 MCP Server 开发?
人工智能·后端·架构
用户881586910912 天前
AI Agent 协作系统架构设计与实践
架构
鹏北海2 天前
Qiankun 微前端实战踩坑历程
前端·架构
货拉拉技术2 天前
货拉拉海豚平台-大模型推理加速工程化实践
人工智能·后端·架构
RoyLin2 天前
libkrun 深度解析:架构设计、模块实现与 Windows WHPX 后端
架构
CoovallyAIHub3 天前
实时视觉AI智能体框架来了!Vision Agents 狂揽7K Star,延迟低至30ms,YOLO+Gemini实时联动!
算法·架构·github