基于Redis内核的热key统计实现方案｜得物技术

一、Redis热key介绍

Redis热key问题是指单位时间内，某个特定key的访问量特别高，占用大量的CPU资源，影响其他请求并导致整体性能降低。而且，如果访问热key的命令是时间复杂度较高的命令，会使得CPU消耗变得更加严重；或者，如果访问的热key同时也是一个大key，也可能使得访问流量达到节点所在机器带宽上限。

二、Redis热key常见探测方法

突发的热点新闻、爆款商品、或者促销活动都可能导致访问热key的出现，目前，Redis官方和业界也都有不少热key探测与发现方法。

先通过一个表格整体预览一下当前存在的热key探测方案优缺点

Redis-cli的hotkeys参数

Redis自4.0起在Redis-cli中提供了hotkeys参数来方便用户进行实例级的热key分析功能，Redis-cli通过向Redis-server节点发送scan + object freq命令以遍历的方式分析Redis实例中所有key，然后返回实例中热key信息。

该方式存在以下几个问题：

使用该方案的前提条件是需要将Redis-server的淘汰策略maxmemory-policy参数设置为LFU（volatile-lfu或allkeys-lfu）
实时性差。由于需要扫描整个keyspace，实时性较差，扫描时间与key数量正相关，如果key数量比较多，耗时可能会非常长。
信息不够丰富。首先记录的访问频率是一个与访问次数的对数成比例的相关近似值，不能够很直观的看出来热key的访问频率；另外，返回的信息中也没有key的类型和热key出现的时间等。

monitor命令统计

Redis提供monitor命令可以实时抓取出Redis服务器接收到的命令，可以对抓取的数据结合一些现成的分析工具（比如Redis-faina）统计出抓取时间段内的访问热key。

该方式存在以下几个问题：

该命令在高并发的条件下，有内存增暴增的隐患，还会降低Redis的性能，只能紧急情况下短暂使用，不能长时间使用。
该方式只能统计开启monitor命令的期间访问热key情况，对于过去已经发生的访问热key无法获取，无法应对一些瞬时的突发热key等情况。

Redis节点抓包分析

Redis客户端使用TCP协议与服务端进行交互，并且通信协议采用自定义的RESP协议，可以使用libpcap库对Redis-server监听端口抓包，然后按照RESP协议解析数据，并统计抓包期间内访问的热key。

该方式存在以下几个问题：

该方式实现相对比较复杂，有一定的开发成本。
同样只能统计开启抓包期间的访问热key情况，无法获取过去的热key。
开启期间对访问Redis-server性能有一定的损耗，而且ECS一般会部署多个Redis-server，全量开启会对系统负载有一定影响，因此无法长时间开启进行实时处理。

Client/Proxy端收集

可以对客户端工具进行封装，在发送请求前进行收集采集，同时定时把收集到的数据上报到统一的服务进行聚合计算。或者，如果业务通过Proxy访问缓存的话，可以在Proxy上进行收集，其他思路与Client端收集模式一致。

目前，比如，有赞自研分布式缓存系统zanKV、京东零售开源的热key探测框架（JD-hotkey）、得物热点探测框架（Burning）都是类似这种方案，在客户端进行收集，在聚合中心worker节点上进行热key统计，统计出来的热key可以推送到客户端进行本地缓存。

该方式存在以下几个问题：

在客户端收集的方案对客户端代码有一定的侵入，而且每种语言的SDK都需要进行开发，后期开发维护成本较高。
框架比较复杂，开发成本高。由于同一个key的访问可能同时出现在多个不同的客户端或者Proxy上，因此，在单个客户端或者Proxy上是无法统计热key的，因此，该方案需要一个聚合中心计算平台，收集不同Client/Proxy上访问的key，然后计算热key信息。

下图为京东开源的热key探测框架系统架构图：

三、基于Redis内核的热key统计

从上面的分析可以看到，目前存在的一些方案，要么无法高效快速的获取实时热key信息，要么架构比较复杂或者对业务有一定的侵入，得物自建Redis设计并研发基于Redis内核的热key统计方案，可以高效的统计并记录Redis实时热key信息，同时提供热key产生与热key失效的订阅通知。

实现原理简介

基于内核的Redis热key统计方案在Redis-server端实现，包含热key统计模块和热key通知模块两部分，另外提供热key日志记录查询与重置命令。

热key统计模块基于LRU队列实现统计key每秒内访问次数，当访问次数达到设置的热key阈值时，被判定为热key，热key加入热key队列用于提供实时查询。

基于内核的Redis热key统计方案提供热key订阅与主动通知功能，提供读热key、写热key、热key失效三个订阅通道channel，可用于Client/Proxy订阅热key消息，当key被判定为热key时，Redis-server主动向对应的消息通道广播热key消息。

实现原理图如下所示：

实现流程图

热key统计

为了能够高效进行热key统计，并且不消耗过多内存资源，在Redis中使用一个固定大小的LRU队列（大小可配置）来进行热key统计，记录数据结构采用了非常紧凑的格式设计，每个key的统计操作都是O(1)时间复杂度，保证高效统计的同时，统计工作消耗的内存资源不会随着Redis中存储的key数量增长而增长。

LRU队列中用于统计key访问记录的数据结构如下：

#define HOTKEY_NOTIFIED_BIT 1
#define ACCESS_COUNT_BITS 16
#define ACCESS_TIME_BITS 46


typedef struct hotkeyRecord {
    uint64_t notified:HOTKEY_NOTIFIED_BIT;      // 热key是否通知或记录日志
    uint64_t same_period:HOTKEY_NOTIFIED_BIT;   // 每秒一个统计周期，同一个key每秒最多发送一次热key通知
    uint64_t count:ACCESS_COUNT_BITS;           // 热key计数
    uint64_t access_time:ACCESS_TIME_BITS;      // 热key计数记录起始时间，单位：毫秒
} hotkeyRecord;

热key统计默认以每秒一个周期，统计每个key在每秒时间内的访问次数，当每秒访问次数达到一定的阈值（阈值大小可配置）时，认定为是热key；同时，同一个时间周期内（即同一秒内）同一个key只记录一次热key，连续多次的不同时间周期内，同一个key连续出现热key现象会多次记录，同时，记录热key出现的时间与访问次数。

热key统计区分读热key与写热key，方便业务进行缓存或者其他相关处理。

被判定为热key的记录，会加入热key队列记录日志，可供查询，管控平台通过查询热key日志队列可以展示Redis-server节点实时热key信息；热key日志记录包括热key出现的时间、访问次数、key类型、读操作还是写操作等信息。

热key日志队列记录数据结构如下所示：

#define HOTKEY_NOTIFIED_BIT 1
#define ACCESS_COUNT_BITS 16
#define LOG_TIME_BITS 46


typedef struct hotkeyLogEntry {
    uint64_t notified:HOTKEY_NOTIFIED_BIT;
    uint64_t access_count:ACCESS_COUNT_BITS; // 热key计数
    uint64_t access_time:LOG_TIME_BITS;   // 热key计数记录起始时间，单位：毫秒


    unsigned type;


    void *key;
} hotkeyLogEntry;

热key通知

基于内核的Redis热key统计方案支持订阅模块与热key主动通知功能。

Redis-server提供读热key、写热key、热key失效三个订阅通道channel，可用于Client或者Proxy订阅热key相关消息；当出现读写热key时，Redis-server主动向对应的订阅通道广播热key消息；当一个热key出现写操作时，会向热key失效订阅通道广播key失效消息。

热key类型定义数据结构如下所示：

/* hotkey type */
#define READ_HOTKEY_NOTIFY 0
#define READ_HOTKEY_INVALID 1
#define WRITE_HOTKEY_NOTIFY 2

热key记录查询与重置命令

除了通过订阅通道主动通知外，Redis-server提供热key日志记录查询与重置命令，可供平台查询进行展示或者操作。

读命令热key查询与重置

可以查询指定长度的日志、或者从指定位置查询指定长度的日志：

// 查询读热 key 日志长度
readHotkeyLog len
// 重置清空读热 key 日志
readHotkeyLog reset
// 查询读热 key 日志
readHotkeyLog get                   // 查询默认长度，从日志队列头部开始查询数据
readHotkeyLog get [len]             // 查询指定长度，从日志队列头部开始查询数据
readHotkeyLog get [index] [len]     // 从指定 index 开始查询指定长度

写命令热key查询与重置

可以查询指定长度的日志、或者从指定位置查询指定长度的日志：

// 查询写热 key 日志长度
writeHotkeyLog len
// 重置清空写热 key 日志
writeHotkeyLog reset
// 查询写热 key 日志
writeHotkeyLog get                   // 查询默认长度，从日志队列头部开始查询数据
writeHotkeyLog get [len]             // 查询指定长度，从日志队列头部开始查询数据
writeHotkeyLog get [index] [len]     // 从指定 index 开始查询指定长度

四、总结

Redis热key是在Redis使用过程中一个比较常见的现象，同时，热key的实时探测与解决一直是业界的一个难点问题。得物自建Redis结合当前各种热key探测方案的优缺点，实现基于Redis内核的高性能实时热key统计方案。该方案具备如下优点：

实时性强：可实时统计热key信息，统计粒度为每秒
热key信息详细：热key信息包含热key出现的时间、访问次数、key类型、读操作或写操作等信息
支持订阅与查询：支持读热key、写热key、热key失效三种类型通知，可查询热key日志记录

往期回顾

1.解析Go切片：为何按值传递时会发生改变？｜得物技术

2.得物彩虹桥架构演进之路-负载均衡篇

3.得物精准测试平台设计与实现

4.基于IM场景下的Wasm初探：提升Web应用性能｜得物技术

5.Java性能测试利器：JMH入门与实践｜得物技术

文 / Miro

关注得物技术，每周一、三更新技术干货

要是觉得文章对你有帮助的话，欢迎评论转发点赞～

未经得物技术许可严禁转载，否则依法追究法律责任。