面试官：Sentinel是如何实现限流的？

磊哥|www.javacn.site2024-02-04 11:03

限流是一种通过控制系统对外提供的资源、服务或接口的访问数量或速率，以保护系统免受过载的一种策略。

它的目的是确保系统能够在承受范围内提供稳定和可靠的服务，避免因过多的请求而导致系统崩溃、资源耗尽或响应延迟过高的情况发生。

在 Sentinel 中，实现限流的方法有以下两种：

  1. 通过代码方法实现限流。
  2. 通过 Sentinel 控制台设置实现限流。

1.通过代码实现限流

通过代码实现限流需要以下两步方可实现：

  1. 定义资源
    1. 通过代码定义资源。
    2. 通过注解定义资源。
  2. 定义限流规则

具体实现如下。

1.1 定义资源

定义资源可以通过代码方式或注解方式来实现，具体实现如下。

① 通过代码定义资源

可以通过代码的的方式 SphU.entry("resourceName") 来定义资源，具体实现代码如下：

java 复制代码 
@RequestMapping("/getuser")
public String getUser() {
    try (Entry entry = SphU.entry("getuser")) {
        // 被保护逻辑
        return "User";
    } catch (Exception e) {
        // 限流之后的业务逻辑
        return "被限流了";
    }
}

PS：SphU 是 Sentinel Protection Hotspot Util 的缩写，Sentinel 热点保护工具类。

② 通过注解方式定义资源

通过注解 @SentinelResource 也可以实现资源的定义，如下代码所示：

java 复制代码 
// 定义资源和限流后触发的方法
@SentinelResource(value = "resourceName", blockHandler = "myBlockHandler")
@RequestMapping("/getnamebyid")
public String getNameById(Integer id) {
return id + "-lei";
}
// 限流后触发的方法
public String myBlockHandler(Integer id, BlockException blockException) {
    String msg = "Do myBlockHandler method.";
    System.out.println(msg);
    return msg;
}

其中，value 属性定义的资源名称，blockHandler 定义的是原方法被限流/降级/系统保护之后执行的方法。

注意事项
  1. 定义的限流方法 myBlockHandler 必须和原方法的返回值、参数保持一致；
  2. 限流方法必须添加 BlockException 参数，不然会因为找不到合适的限流后执行方法，而提示以下错误：

PS：其中"csp"表示 Concurrent Service Protection，即并发服务保护。

@SentinelResource 注解属性说明：

  • value：资源名称，必需项（不能为空）。
  • entryType：资源调用的流量类型：入口流量（EntryType.IN）和出口流量（EntryType.OUT），注意系统规则只对 IN 生效。
  • blockHandler/blockHandlerClass: 限流和熔断时执行 BlockException 所对应的方法名。
  • fallback/fallbackClass：非 BlockException 时，其他非限流、非熔断时异常对应的方法。
  • exceptionsToIgnore：用于指定哪些异常被排除掉，不会计入异常统计中，也不会进入 fallback 逻辑中，而是会原样抛出。

注：1.6.0 之前的版本 fallback 函数只针对熔断降级异常（DegradeException）进行处理，不能针对业务异常进行处理。

1.2 定义限流规则

在 Spring Boot 项目中，只需要将限流规则添加到项目启动时执行即可，如下代码所示：

java 复制代码 
public static void main(String[] args) {
    SpringApplication.run(SentinelDemoApplication.class, args);
    // 加载限流规则
    initFlowRules();
}

而限流规则定义如下：

java 复制代码 
private static void initFlowRules() {
    List<FlowRule> rules = new ArrayList<>();
    FlowRule rule = new FlowRule();
    rule.setResource("resourceName"); // 资源名称
    rule.setGrade(RuleConstant.FLOW_GRADE_QPS); // 根据 QPS 限流
    rule.setCount(1); // QPS 阈值【每秒只允许通过一个请求】
    rule.setStrategy(RuleConstant.STRATEGY_DIRECT); // 调用关系限流策略【非必须设置】
    rule.setControlBehavior(RuleConstant.CONTROL_BEHAVIOR_DEFAULT); // 流控效果【非必须设置】
    rule.setClusterMode(false); // 是否集群限流【非必须设置，默认非集群】
    rules.add(rule);
    FlowRuleManager.loadRules(rules);
}

其中：

  • setStrategy：设置调用关系限流策略，包含的值有：
    • 直接（RuleConstant.STRATEGY_DIRECT）【默认值】
    • 链路（RuleConstant.STRATEGY_RELATE）
    • 关联（RuleConstant.STRATEGY_CHAIN）
  • setControlBehavior：设置流控效果，包含的值有：
    • 直接拒绝（RuleConstant.CONTROL_BEHAVIOR_DEFAULT）【默认值】
    • 冷启动（RuleConstant.CONTROL_BEHAVIOR_WARM_UP）
    • 匀速启动（RuleConstant.CONTROL_BEHAVIOR_RATE_LIMITER）
    • 冷启动+匀速启动（RuleConstant.CONTROL_BEHAVIOR_WARM_UP_RATE_LIMITER）

2.通过控制台实现限流

Sentinel 还可以使用控制台的方式进行限流，不过默认情况下限流规则是保存在内存中，所以重启之后规则会丢失，默认情况下下的推送流程如下：

它的实现步骤如下：

  1. 下载并运行 Sentinel Dashboard（控制台）。
  2. 在程序中加入并配置 Sentinel Dashboard。
  3. 在 Sentinel Dashboard 配置限流/熔断等规则。
  4. 验证效果。

2.1 下载并运行Sentinel控制台

我们可以从 Sentinel 官方仓库下载最新版本的控制台 jar 包，访问地址：https://github.com/alibaba/Sentinel/releases

使用如下命令启动控制台：

java -jar sentinel-dashboard.jar --server.port=18080

从 Sentinel 1.6.0 起，Sentinel 控制台引入基本的登录功能，默认用户名和密码都是 sentinel。可以参考 鉴权模块文档 配置用户名和密码，命令如下：

java -Dserver.port=18080 -Dsentinel.dashboard.auth.username=sentinel -Dsentinel.dashboard.auth.password=123456 -jar sentinel-dashboard.jar

Sentinel 控制台启动时的可选配置项：

配置项 默认值 描述
server.port 8080 指定端口
csp.sentinel.dashboard.server localhost:8080 指定地址
project.name - 指定程序的名称
sentinel.dashboard.auth.username sentinel Dashboard 登录账号（需要版本1.6+）
sentinel.dashboard.auth.password sentinel Dashboard 登录密码（需要版本1.6+）
server.servlet.session.timeout 30分钟 登录 Session 过期时间（需要版本1.6+）
配置为 7200 表示 7200 秒
配置为 60m 表示 60 分钟

2.2 在程序中加入并配置 Sentinel

在需要进行流控的项目中加入 Sentinel 依赖：

xml 复制代码 
<dependency>
  <groupId>com.alibaba.cloud</groupId>
  <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
</dependency>

在项目中配置 Sentinel Dashboard 地址：

yaml 复制代码 
spring:
  application:
    name: sentinel-dashboard-demo
  cloud:
    sentinel:
      transport:
        dashboard: localhost:18080
        client-ip: 127.0.0.1 
        port: 8721
        heartbeat-interval-ms: 10000

其中，只有 dashboard 是必输项，其他的都可以省略，他们的含义如下：

  • dashboard：sentinel 控制台地址。
  • client-ip：当前客户端 IP，不设置自动选择一个 IP 注册。
  • port：与 sentinel 通讯的端口，如不设置，会从 8719 开始扫描，依次 +1，直到找到未被占用的接口。
  • heartbeat-interval-ms：心跳发送周期，默认值是 10s。

2.3 设置规则

2.4 新增限流规则

参数说明：

  • 针对来源：Sentinel 可以针对调用者进行限流，填写具体微服务名时，指定对此微服务进行限流 ，默认值为 default（不区分来源，全部限制）。
  • 阈值类型/单机阈值 ：用于限制和控制流量的一种度量标准的类型，可以为 QPS（Queries Per Second，每秒请求数）也可以为"并发线程数"。
    • QPS：每秒请求达到此值开始限流。
    • 并发线程数：请求此资源的线程达到某个值时限流。每个请求分配一个线程，当请求执行时间长时，很快就会触发限流，相反如果线程执行速度快，那么限流触发就会概率就会比较小。
  • 流控模式 ：流量控制模式。
    • 直接：接口达到限流条件时，直接限流。
    • 关联：当关联的资源达到阈值时，就限流自己。
    • 链路：指定资源从入口资源进来的流量，如果达到阈值，就进行限流。
  • 流控效果 ：流量控制效果。
    • 快速失败：该方式是默认的流量控制方式，比如 QPS 超过任意规则的阈值后，新的请求就会被立即拒绝，拒绝方式为抛出 FlowException。这种方式适用于对系统处理能力确切已知的情况下，比如通过压测确定了系统的准确水位时。
    • 排队等待（也叫匀速通过）：排队等待会严格控制请求通过的间隔时间，让请求稳定且匀速的通过，可以用来处理间隔性突发的高流量。例如抢票软件，在某一秒或者一分钟内有大量的请求到来，而接下来的一段时间里处于空闲状态，我们希望系统能够在接下来的空余时间里也能出去这些请求，而不是直接拒绝。在设置排队等待时，需要填写超时时间。
    • Warm Up：此项叫做预热或者冷启动方式，此模式主要是防止流量突然增加时，直接把系统拉升到高水位可能瞬间把系统压垮，通过"冷启动"，让通过的流量缓慢增加，在一定时间内逐渐增加到阈值上限，给冷系统一个预热的时间，避免冷系统被压垮。当使用 Warm Up 模式时，我们还需要指定启动时开放的 QPS 比例（DEFAULT_COLD_FACTOR，默认值为 3，代表 30%），以及系统预热所需时长（warmUpPeriodSec，默认值是 10 秒）。

限流页面当"是否集群"选中之后，就会是这样的界面：

其中最后一项"失败退化"中的 Token Server 含义如下：

Token Server 是 Sentinel 用于集群流量控制的关键组件，它负责分发令牌并进行流量控制。当 Sentinel 的应用程序配置为集群限流模式时，它会向 Token Server 请求令牌，然后根据令牌情况来进行流量控制。如果 Token Server 不可用，可能是由于网络故障、Token Server 实例崩溃等原因，这时候无法从 Token Server 获取令牌。

Token Server 配置的含义如下：

  • 当配置选项为"是"时：表示当 Token Server 不可用时，Sentinel 会自动切换为单机限流模式。在单机限流模式中，Sentine 会从本地的限流规则进行流量控制，不再依赖 Token Server。这样可以保证即使 Token Server 不可用，也能够继续对流量进行限制。
  • 当配置选项为"否"时：表示当 Token Server 不可用时，Sentinel 不会自动切换为单机限流模式，流量控制会被暂停，即无法进行限流，可能会导致服务负载过高。

课后思考

Sentinel 中使用了什么限流算法？它的底层是如何实现的？除了 Sentinel 之外，还有哪些限流的实现方法？

本文已收录到我的面试小站 www.javacn.site，其中包含的内容有：Redis、JVM、并发、并发、MySQL、Spring、Spring MVC、Spring Boot、Spring Cloud、MyBatis、设计模式、消息队列等模块。

热门推荐
01(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04玄机平台应急响应—webshell查杀05Coze扣子平台完整体验和实践（附国内和国际版对比）06Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO07【目标跟踪】相机运动补偿08Unity中PICO实现 隔空取物 和 接触抓取物体09RAG 实践- Ollama+RagFlow 部署本地知识库10量化方法怎么选？如何评估量化后的大模型LLM？