Redis（高阶篇）02章——BigKey

一、面试题

1. 阿里广告平台，海量数据里查询某一个固定前缀的key
2. 小红书，你如何生产上限制 keys* /flushdb/flushall等危险命令以防止阻塞或误删数据？
3. 美团，memory usage命令你用过吗？
4. BigKey问题，多大算big？你如何发现？如何删除？如何处理？
5. BigKey你做过调优吗？惰性释放lazyfree了解过吗？
6. morekey问题，生产上redis数据库有1000W记录，你如何遍历数据？ keys *可以吗？

二、MoreKey案例

（1）大批量往redis里面插入2000W测试数据key

2.1.1Linux Bash下面执行，插入100W数据

1. 生成100W条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中

   for((i=1;i<=100*10000;i++)); do echo "set k$i v$i" >> /tmp/redisTest.txt ;done;

2.1.2通过redis提供的管道-pipe命令插入100W大批量数据

cat /tmp/redisTest.txt | redis-cli -h 127.0.0.1 -p 6379 -a 111111 --pipe

（2）某快递巨头真实生产案例新闻

2.2.1新闻

2.2.2keys * 试试100W花费多少秒遍历查询

2.2.3生产上限制 keys * /flushdb/flushall等危险命令以防止误删误用？

1. 输入keys */flushdb/flushall等命令时，同时按下Tab键会有提示
2. 通过配置设置禁用这些命令，redis.conf在SECURITY这一项中

（3）不用keys *避免卡顿，那该用什么

2.3.1scan命令登场

1. SCAN | Docs
2. Redis SCAN 命令 递增地遍历key空间
3. 一句话，类似MySQL limit，但是不完全相同

2.3.2Scan命令用于迭代数据库中的数据库键

1. 语法：
2. 特点：
3. 使用：

三、BigKey案例

（1）多大算Big

通常我们说的BigKey，不是在值的Key很大，而是指的Key对应的value很大

3.1.1参考《阿里云Redis开发规范》

3.1.2string和二级结构

（1）string是value，最大512MB但是≥10KB就是bigkey

（2）list、hash、set和zset，value个数超过5000就是bigkey

（2）哪些危害

1. 内存不均，集群迁移困难
2. 超时删除，大key删除作梗
3. 网络流量阻塞

（3）如何产生

（4）如何发现

3.4.1redis-cli --bigkey

3.4.2memory usage 键

1. 英文官网：MEMORY USAGE | Docs
2. 中文官网：MEMORY USAGE | Docs
3. 计算每个键值的字节数

（5）如何删除

3.5.1参考《阿里云Redis开发规范》

3.5.2官网

1. SCAN | Docs
2. Redis SCAN 命令 递增地遍历key空间

3.5.3普通命令

（1）String

一般用del，如果过于庞大使用unlink key 删除

（2）hash

1. 使用hscan每次获取少量field-value，再使用hdel删除每个field
2. 命令：
3. 阿里手册

（3）list

1. 使用ltrim渐进式逐步删除，直到全部删除完成
2. 命令 ：
3. 阿里手册

（4）set

1. 使用sscan每次获取部分元素，在使用srem命令删除每个元素
2. 命令 ：
3. 阿里手册

（5）zset

1. 使用zscan每次获取部分元素，在使用zremrangebyrank命令删除每个元素
2. 命令 ：
3. 阿里手册

四、BigKey生产调优

redis.conf配置文件LAZY FREEING相关说明

1. 阻塞和非阻塞删除命令：
2. 优化配置 ：