游戏推荐业务中基于 sentinel 的动态限流实践

作者：来自 vivo 互联网服务器团队- Gao Meng

本文介绍了一种基于 sentinel 进行二次开发的动态限流解决方案，包括什么是动态限流、为什么需要引入动态限流、以及动态限流的实现原理。

一、背景

1.1 当前的限流方案

随着互联网的发展及业务的增长，系统的流量和请求量越来越大，针对高并发系统，如果不对请求量进行限制，在流量突增时可能会导致系统崩溃或者服务不可用，影响用户体验。因此，系统需要引入限流来控制请求的流量，保证系统的可用性和稳定性。当前推荐业务使用公司vsentinel 限流工具，主要使用 QPS 限流 和热点参数限流。

QPS 限流：对某个资源（通常为接口或方法，也可以自定义资源）的 QPS /并发数进行限流；热点参数限流：对某些具体的参数值进行限流，避免因为热点参数的过度访问导致服务宕机。

1.2 存在的问题

无论是 QPS 限流还是热点参数限流，都是对资源/参数的定量限流，即对某个资源/参数设置固定阈值，超过阈值则进行限流。

回到业务，游戏推荐系统作为游戏分发的平台，向公司内所有主要流量入口（包括游戏中心、应用商店、浏览器等）分发游戏、小游戏、内容和评论，具有大流量、高负载的业务特点。同时，游戏推荐系统对接的场景多（600+），单个性化接口有100+场景调用（场景可以理解为接口请求的一个基本请求参数）。当前的限流方案存在以下几个问题：

1. 参数级别的限流，600+场景，无法做到每个场景精细化限流；

2. 接口级别的限流，不会区分具体的场景，无法保证核心场景的可用性；

3. 如果场景流量有变更，需要及时调整限流阈值，不易维护；

4. 场景的流量会实时变化，无法做到根据流量变化的动态限流。

鉴于以上限流问题，推荐系统需要一个能够根据参数流量变化而动态调整限流阈值 的精细化限流方案。

二、动态限流介绍

从配置方式上来看，动态限流和 QPS 限流、热点参数限流最大的不同之处在于，动态限流不是通过配置固定阈值进行限流，而是配置每个参数的优先级，根据参数的优先级动态调整限流阈值。

动态限流将资源和参数进行绑定，首先配置资源（一般是接口/方法）总的限流阈值，进而配置资源下具体参数的优先级，根据参数配置的优先级和实时流量，决定当前请求pass or block。

下图示例中，资源总的限流阈值为150，参数A、B、C、D的 QPS 均为100，且配置的参数优先级 A>B>C>D。

• 参数A优先级最高，且 QPS(A) = 100 < 限流阈值150，所以A的流量全部通过；

• 参数B优先级仅次于参数A，且 QPS(A) = 100 < 限流阈值150、QPS(A) + QPS(B)= 200 > 限流阈值150，所以参数B部分流量通过，pass : 50，block：50；

• 参数C和其它参数的优先级低于参数B，且 QPS(A) + QPS(B)= 200 > 限流阈值150，所以参数C和其它参数均被限流。

如果此时参数值A的 QPS 变为200，B、C的 QPS 仍为100，通过动态限流实现：A请求部分通过，B请求全部拦截，C请求全部拦截；根据各参数值流量的变化，动态适配各参数值通过/拦截的流量，从而实现根据参数值动态限流的效果。

总结：动态限流本质上是参数优先级限流 ，支持对参数值配置优先级，根据参数值的优先级进行动态流控。当流量超过阈值后，优先保证高优先级参数通过，拦截优先级低的参数请求。

三、sentinel 介绍

由于动态限流是基于 sentinel 进行二次开发，且动态限流的实现算法是基于 sentinel QPS 限流的优化，这里首先介绍下 sentinel 实现原理和 sentinel QPS 限流的滑动窗口计数器限流算法。

3.1 sentinel 原理介绍

sentinel 是阿里开源的一款面向分布式、多语言异构化服务架构的流量治理组件。主要以流量为切入点，从流量路由、流量控制、流量整形、熔断降级、系统自适应过载保护、热点流量防护等多个维度来帮助开发者保障微服务的稳定性。(官网描述)

sentinel 主要通过责任链模式实现不同模式的限流功能，责任链由一系列 ProcessorSlot 对象组成，每个 ProcessorSlot 对象负责不同的功能。

ProcessorSlot 对象可以分为两类：一类是辅助完成资源指标数据统计的 slot，一类是实现限流降级功能的 slot。

辅助资源指标数据统计的 ProcessorSlot：

• NodeSelectorSlot：负责收集资源路径，并将调用路径树状存储，用于后续根据调用路径来限流降级；

• ClusterBuilderSlot：负责存储资源的统计信息以及调用者信息，例如该资源的 RT、QPS、线程数等等，作为多维度限流、降级的依据；

• StatisticSlot：负责实现指标数据统计，从多个维度（入口流量、调用者、资源）统计响应时间、并发线程数、处理失败数量、处理成功数量等指标信息。

实现限流降级功能的 slot：

• ParamFlowSlot：用于根据请求参数进行限流（热点参数限流），例如根据某个参数的 QPS 进行限流，或者根据某个参数的值进行限流；

• SystemSlot：用于根据系统负载情况进行限流，例如 CPU 使用率、内存使用率等。

• AuthoritySlot：用于根据调用者身份进行限流，例如根据调用者的 IP 地址、Token 等信息进行限流。

• FlowSlot：用于根据 QPS 进行限流，例如每秒最多只能处理多少请求。

• DegradeSlot：用于实现熔断降级功能，例如当某个资源出现异常时，可以将其熔断并降级处理。

除了上述原生 ProcessorSlot，sentinel 还支持 SPI 插件功能，通过实现 ProcessorSlot 接口自定义 slot，从而能实现个性化功能拓展。动态限流正是基于 sentinel SPI 插件方式实现。

3.2 滑动窗口计数器算法

sentinel 的 QPS 限流采用滑动窗口计数器算法，下面我们简单介绍下这个算法原理。

首先介绍一下计数器算法。

3.2.1 计数器

计数器算法：维护一个固定单位时间的计数器来统计请求数，在计数小于限流阈值时通过请求，计数到达限流阈值后拦截请求，直到下一个单位时间再重新计数。假设资源限制 1 秒内的访问次数不能超过 100 次。

• 维护一个计数器，每次有新的请求过来，计数器加 1；

• 收到新请求后，如果计数器的值小于限流值，并且与上一次请求的时间间隔还在 1秒内，允许请求通过，否则拒绝请求；如果超出了时间间隔，要将计数器清零。

计数器算法存在一个问题：窗口切换时可能会出现流量突刺（最高2倍）。极端情况下，假设每秒限流100，在第1s和第2s分别通100个请求，且第1s的请求集中在后半段，第2s的请求集中在前半段，那么其实在500ms到1500ms这个1s的时间段，通过了200个请求。

为了解决这个问题，引入了基于滑动窗口的计数器算法。

3.2.2 滑动窗口计数器

滑动窗口计数器算法是计数器算法的改进，解决了固定窗口的流量突刺问题。算法原理：

• 将时间划分为细粒度的区间，每个区间维持一个计数器，每进入一个请求则将计数器加1；

• 多个区间组成一个时间窗口，每到一个区间时间后，则抛弃最老的一个区间，纳入新区间；

• 若当前窗口的区间计数器总和超过设定的限制数量，则本窗口内的后续请求都被丢弃。

滑动窗口本质上是固定窗口更细粒度的限流，将单位时间划分多个窗口，划分的窗口越多，数据越精确。

四、基于 sentinel 的动态限流方案

动态限流是基于 sentinel 的二次开发，具体实现流程和 sentinel 的 QPS 限流类似，可以归纳为三步：数据统计、规则管理、流量校验。

• 数据统计：统计资源（接口/方法/参数）的流量；

• 规则管理：管理限流规则，维护资源的限流阈值及参数值优先级；

• 流量校验：对比统计到的流量和对应的限流规则，决定当前请求 pass or block。

4.1 数据统计

动态限流的数据统计同 sentinel 流量控制模块一样，使用滑动窗口计数器算法统计当前的流量。

具体来讲，sentinel 流量控制中的数据统计，是将1s的时间窗细分为多个窗口，按窗口维度统计资源信息，包括请求总数、成功总数、异常总数、总耗时、最小耗时、最大耗时等。

动态限流的数据统计，同样是将1s的时间窗细分为多个窗口，不同的是窗口的统计维度是各个参数值通过的总流量。

具体实现上，每个资源有唯一的 bucket，bucket 内维护一个固定数量的滑动窗口，窗口中的 value 是一个 hash 结构，hash key 为限流参数的参数值，value 为参数值在当前时间窗口的请求量。

参数值流量统计流程：

1. 系统收到请求后，首先找到当前资源的 bucket；

2. 再根据当前时间戳对 bucket 内的窗口数量取余，定位到当前时间窗；

3. 当前时间窗内参数值的请求量+1。

4.2 规则管理

规则管理模块：配置和管理限流规则。

限流规则通过zk实现从后台到端上的同步。后台配置好限流规则后，将限流规则同步到zk；客户端监听zk消息变更，同步最新的限流规则。

4.3 流量校验

4.3.1 参数临界点

对于动态限流而言，参数的限流阈值不是固定的，只有参数优先级的概念，所以校验的第一步是要找到限流阈值优先级的临界点。

如果参数优先级临界点已知，只需要判断流量参数的优先级大小。如果请求的优先级高于阈值参数的优先级，pass；反之，如果请求的优先级低于阈值参数的优先级，block；优先级相等，按接口阈值限流。

那么如何确认当前限流的优先级呢？

4.3.2 细分窗口

当前限流阈值配置一般为秒级别的限流，细分滑动窗口，就是将1s的窗口划分为N个更小的时间窗，只要N足够大，就可以将前N-1个窗口已经统计到的参数流量近似当做这一秒的流量，进而就可以计算出临界参数的优先级。具体来讲，每一个窗口中都记录了参数的请求数量，所以只要将前N-1个窗口的流量累加，就可以得到各个参数在当前这1s内的总请求量；之后按照参数的优先级从高到低，依次累加流量并与阈值比较，如果累加到某个参数时大于限流阈值，则这个参数对应的优先级即为限流阈值优先级的临界点。

上面分析都是基于最理想情况：将1s的窗口无限细分。考虑到滑动窗口粒度越小，统计数据计算的越准确，但同时占用的资源也越多，计算越复杂，时延也越高，所以在实际应用中，1s的窗口不可能无限细分，是否有更好的优化方案呢？

4.3.3 动态预测

上面是将1s的窗口划分为N个更小的时间窗，将前N-1个窗口近似看成1s，利用前N-1个窗口的统计数据，来判断当前窗口是否需要限流。

N-1→ N → 1s，N越大误差越小，反之N越小误差就越大，为了弥补N大小引起的计算误差，将统计窗口朝前挪一个，即用最近1s已有的统计数据，来判断当前窗口是否需要限流。

换一种说法：用最近1s已有的统计数据计算临界点参数，预测当前窗口的请求是否需要限流。如果当前请求参数的优先级高于临界点参数，pass；低于临界点参数，block；等于临界点参数，部分通过。

综上：动态限流采用细分窗口 +动态预测的方法计算当前限流参数的优先级阈值。

举例说明：对方法 method(String param) 配置动态限流，限流阈值为120，配置 param 具体参数值的优先级为A→ 1, B→ 2, C→ 3（按重要程度划分 A > B > C）；假设窗口大小为100ms，即1s细分为10个滑动窗口。每次开始新窗口流量计数时，先统计前10个窗口中各参数的请求量，继而按照优先级从高到低进行累加，确认优先级阈值；比如统计到前10个窗口中参数A, B, C的请求量均为100，因为A的流量100 < 阈值120，A + B的流量200 > 阈值120，所以此时临界参数为B；窗口接收到新请求后，比较请求参数和临界参数的优先级，比如参数A的请求，因为A的优先级高于B, pass；参数B的临界参数请求，允许部分流量通过；参数C的优先级低于临界参数，block。

4.3.4 double check

经过上面的分析可知，通过滑动窗口+动态预测的方案就可以找到临界点参数，进而根据参数优先级决定当前请求 pass or block。但是在实际时间窗和统计时间窗之间，有一个时间 gap，在这个时间窗内的流量计算有一定的滞后性，比如上面的例子，在新窗口中A的请求全部 pass，如果此时A的流量突刺到1000，那么总体通过的流量就会超过阈值，如下图所示。

由上图可知，在流量突增的一个时间窗内，当前方案通过的流量会有突刺，为了解决流量突增带来的突刺问题，使用 double check 进行校验；check1 为细分窗口+动态预测方案，通过 check1 的流量可能会有突刺；增加 check2 对资源进行限流，保证被保护资源通过的总流量不超过阈值。

double check 流量在应对流量突增时的流量情况：

4.4 整体架构

复用 sentinel 责任链+ SPI 架构，使用独立 SDK 打包方式嵌入动态限流模板，不影响原 sentinel 处理流程，按需引入。

4.5 实现效果

动态限流配置生效后，可通过监控查看各配置参数通过/拒绝的请求量，实现限流功能的可视化。

如上图所示，配置某个资源的单机限流阈值为50，这一秒内的总请求量为74，通过50个请求，拒绝14个请求（其中配置限流的参数 xx.scene.priority1、xx.scene.priority2、xx.scene.priority3 在这一秒通过的请求数量分别为2个、16个、2个；其它参数通过30个请求，拒绝14个请求）。

解释：在这一秒内，配置的三个参数总请求量为20（2+16+2），小于阈值50，全部通过；其它参数总流量为44，这一秒的总请求量为64（20+44），大于限流阈值50，所以其它参数共通过30个请求，拒绝14个请求。

五、总结

本文介绍了一种基于 sentinel 进行二次开发的动态限流解决方案，提供更细粒度、能够根据流量动态调整限流阈值的参数级限流方法，是对 sentinel 限流功能的补充和拓展。

• 对比 sentinel 的 QPS 限流，动态限流方案提供了更细粒度的参数级别的限流；

• 对比 sentinel 的热点参数限流，热点参数限流是对参数的定量限流，适用于参数大流量场景，比如对某个频繁请求的参数（id/商品）进行限流；动态限流根据配置的参数优先级（重要程度）进行限流，限流的阈值参数会根据资源的流量动态调整，pass 高优参数，block 低优参数，限流重点是"保核心"。

综上，动态限流是对 sentinel 限流功能的补充，用户可以结合具体场景配置不同的限流方案。