精确掌控并发:分布式环境下并发流量控制的设计与实现(二)

3. 固定窗口

参考:精确掌控并发:分布式环境下并发流量控制的设计与实现(一)-CSDN博客

4. 滑动窗口

滑动窗口算法是一种更为灵活的流量控制方案,它比固定窗口算法能更平滑地处理突发流量。在滑动窗口中,时间窗口是重叠的,这意味着流量的计算是基于过去的一段连续时间内发生的事件。

工作流程:

  1. 窗口定义:确定窗口的大小,例如1秒钟,并设置窗口的滑动间隔,比如100毫秒。
  2. 计数与滑动:每个窗口都有自己的计数器。当一个新请求到达时,增加当前时间窗口及其前面相邻的窗口的计数。
  3. 限制检查:如果任何连续时间段内的请求总数超过阈值,则拒绝新的请求。
  4. 窗口更新:随着时间的推移,不断向前滑动窗口,并更新相应的计数器。

实现细节:

滑动窗口可以通过队列或循环数组来实现。每个窗口对应队列中的一个元素,记录该窗口期间的请求数。当时间滑动时,更新队列头部的元素,并可能将旧的元素出队。

例如,在Redis中,可以使用列表或有序集合来模拟这种滑动窗口。下面是一个Rdis实现的示例,使用有序集合(sorted set)来实现了滑动时间窗口算法:

java 复制代码
public class RateLimiter {
    public static boolean isAllowed(String channel) {
        long currentTimeMillis = Instant.now().toEpochMilli();
        String key = "rate_limiter:" + channel;

        try (Jedis jedis = new Jedis(REDIS_HOST, REDIS_PORT)) {
            // 使用Redis的多个命令来实现滑动窗口
            jedis.zremrangeByScore(key, 0, currentTimeMillis - WINDOW_SIZE_IN_SECONDS * 1000);
            long requestCount = jedis.zcard(key);

            if (requestCount < MAX_REQUESTS) {
                jedis.zadd(key, currentTimeMillis, "" + currentTimeMillis);
                jedis.expire(key, WINDOW_SIZE_IN_SECONDS);
                return true;
            } else {
                return false;
            }
        }
    }
}

每个请求都以其发生的时间戳作为分数存储在集合中。通过移除旧于当前时间窗口的请求来维护滑动窗口。通过检查集合中的元素数量,以确定是否超过了设定的最大请求数。

  • zremrangeByScore 用于移除窗口之外的旧请求。
  • zcard 获取当前窗口内的请求数量。
  • zadd 将新请求添加到集合中。

应用场景:

  • API限流:适用于需要平滑处理突发流量的API服务。
  • 动态调整:由于滑动窗口能够更精确地反映最近的流量趋势,它适用于需要动态调整限流策略的场景。比如支付渠道成功率的监控和流量的波动。这个后面单独开个篇章来讲。

注意事项:

  • 资源消耗:相比固定窗口算法,滑动窗口可能需要更多的计算和存储资源。
  • 时间同步:在分布式系统中,需要确保不同节点之间的时间同步,以保证流量计算的准确性。如果应用服务器之间的时间不同步,那么流量就会计算错误。

<未完待续>

相关推荐
2601_9679801125 分钟前
Python行情API量化 02:顺序拉 20 要 2 秒?并发批量把时间压到 0.5 秒
python·api·限流·并发·量化
Alluxio3 小时前
Alluxio + OCI:为 AI 工作负载实现亚毫秒访问延迟与可扩展吞吐
运维·数据库·人工智能·分布式·缓存·ai·语言模型
阿卡好可爱8 小时前
Lua 热更新不生效:改完文件线上仍是旧逻辑,package.loaded 与 upvalue 重绑定详解
数据结构·分布式·后端·架构·lua
Joy T9 小时前
Redis Lua 原子限流:Lua 脚本、竞态条件与并发控制
数据库·redis·lua·限流·竞态条件·redis scripting
梅雅达编程笔记1 天前
忘记密码只能找客服:Flask邮箱验证码重置密码加限流防爆破
flask·限流·毕设·电商系统·myd电商·找回密码·邮箱验证码
方方洛2 天前
ray教程-28-附录G-CICD与Slurm与云上调度
人工智能·分布式·机器学习
长不大的杨瑞杰2 天前
ChatGPT 广告技术栈架构拆解:多轮意图、LLM 工具编排、ANN 召回与拍卖闭环
人工智能·chatgpt·系统架构·推荐系统·广告
空奈qwq2 天前
【Kafka 从入门到实战】从手写一个队列到生产级消息中间件:架构、分区、消费组、零拷贝全解析
分布式·架构·kafka
艺杯羹3 天前
Windows原生软件锁设计:从暴力杀进程丢数据到零轮询事件驱动架构
windows·系统架构·开源·开源软件·内存管理·开源协议