文章目录
一、SLA概念
参考文档：SLA
二、TP999
1.1 概念
-
接口的响应TP99线的时间
-
TP99指的是满足百分之九十九的网络请求所需要的最低耗时。同理TP999指的满足千分之九百九十九的网络请求所需要的最低耗时，这里的百分比按耗时由小到大的序列截取。
-
举个例子：有四次请求耗时分别为：
10ms，1000ms，100ms，2ms，由小到大排序后为 2ms,10ms,100ms,1000ms
计算TP50：4次请求中，99%的请求数为4*0.5，进位取整也就是2次，满足这全部2次请求的的最低耗时为10ms，也就是TP99的答案是10ms。
计算TP99：4次请求中，99%的请求数为4*0.99，进位取整也就是4次，满足这全部4次请求的的最低耗时为1000ms，也就是TP99的答案是1000ms。
可以发现，TP后的数字越大，对耗时的容忍性越低，这个下限取决于那个最耗时的请求，有点像木桶效应~
1.2 作用
可以定制rpc的timeout时间，如果tp999一般在500ms，那么调用方就可以设置timeout = 1500ms左右
三、QPS
3.1 基本概念
1、含义：即每秒的响应请求数，也即是最大吞吐能力。
⚠️：【是1s能处理的请求数量，不是1s可以打进来多少请求】，即我提供的接口方法的最大吞吐量
3.2 公式：
QPS = 最大的工作线程数 / avg
-
最大连接数
minWorkerThreads（默认即可） 最少的工作线程数 10 流量存在明显的高低峰的场景下，可以根据服务实际情况调大，避免服务出现不断动态地创建和销毁线程 maxWorkerThreads（默认即可） 最大的工作线程数 256 workQueueSize（默认即可） 线程池队列大小 0 selectorThreads（默认即可） select线程数 4 keepAliveTime 线程池空闲时，线程存活的时间 30s a、是接口1s可以支持的最大连接数量。和接口使用的框架、通信协议有关
b、mt使用的是thrift的rpc，底层是netty。maxWorkerThreads = 256
c、dubbo、springcloud也有自己相应的最大工作线程数
-
avg
a、一般就是接口的平均响应时间，可以等效理解为RT(接口请求的一次往返时间)
b、流量不高的时候，接口avg可能是100ms。但是高并发的时候，avg可能会高2-3倍
eg：
1、接口是rpc并发查询下游数据，然后内存处理，返回。正常时，rpc并发查询下游是30个请求，我们配置的mdp核心线程数是32，完全够用，所以avg = 100ms
2、当并发高了，33请求并发查询下游数量。1-32的请求，还是100ms，但是第33个请求来了，可能第1个请求刚好处理完了或正在处理，或者基本上刚开始处理。所以第33个请求处理完成需要100ms，整体需要100ms[1-32] + 100ms[33] = 200ms
3、所以，并发高了，avg肯定会变大。可以采取并发请求的数量 / 核心线程数 * 之前的avg【一般就是扩大2-3倍】
c、接口avg的影响因素，一般分为
1、代码问题【for循环嵌套过多、处理逻辑繁琐等】
2、mdp线程池核心的数量，并发处理度
3、查询db，sql语句的快慢、索引是否添加、甚至是mysql的连接耗时等
4、适当的让少一些流量进来，也能提升avg-流量削峰（不好的请求、redis同一个人的请求拒绝）
5、使用缓存数据、读缓存等也能提高接口的性能
d、数据库连接池 和 线程池处理请求的区别
⚠️：mysql不是安装在你appkey代码跑的服务器上，mysql有自己的服务器集群。
3.3 数据库连接池 和 线程池处理请求区别
一、数据库连接池
此处连接池逻辑和线程池逻辑类似，初始化的时候初始化常驻链接，每过来一个新的连接，执行如下逻辑：
mdp.zebra[0].maxPoolSize=100
mdp.zebra[0].initialPoolSize=30
1.连接数是否小于常驻连接数，若小于则拿出来用recycle，否则进入步骤二；
2.连接数是否小于最大连接数，若小于则创建新连接，用后close，否则进入步骤三；
3.等待其他连接关闭，等待的时间是否小于最大等待时长，若小于则创建新连接，用后close，否则抛出GetConnectionTimeoutException
二、线程池
首先检测线程池运行状态，如果不是RUNNING，则直接拒绝，线程池要保证在RUNNING的状态下执行任务。
如果workerCount【线程数量】 < corePoolSize，则创建并启动一个线程来执行新提交的任务。
如果workerCount >= corePoolSize，且线程池内的阻塞队列未满，则将任务添加到该阻塞队列中。
如果workerCount >= corePoolSize && workerCount < maximumPoolSize，且线程池内的阻塞队列已满，则创建并启动一个线程来执行新提交的任务。
如果workerCount >= maximumPoolSize，并且线程池内的阻塞队列已满, 则根据拒绝策略来处理该任务, 默认的处理方式是直接抛异常。
-
综上所述：
一台机器的QPS = 256 / 100ms = 2560。5台机器 = 2560 * 5 = 12800
⚠️这里的256，是你整个服务的最大工作线程。256不一定都给你这个接口方法用
所以，一台机器的此方法QPS = 256 /10 / 100ms = 250左右 ， 6台机器 1500 QPS左右
3.4 粗估QPS的计算公式【不知道avg的情况下】
- 正常情况下avg可以根据访问db的sql时间大概能推断出来，但是有时候不知道avg，此时可以使用下面公式：
- pv访问量*0.8 / 864000 * 0.2 = 集群QPS