Redis 布隆过滤器性能对比分析

redis 实现布隆过滤器实现方法:

1、redis 的 setbit 和 getbit

特点:对于某个bit 设置0或1,对于大量的值需要存储,非常节省空间,查询速度极快,但是不能查询整个key所有的bit,在一次请求有大量的值需要过滤的场景会出现多次请求getbit,性能会急剧下降,需要把多个gitbit合并成批次,使用lua脚本或者pipeline执行提高效率。

2、redis 的 BF.RESERVE,BF.MADD和 BF.MEXISTS

特点:redis 4.0 以上官方提供的一个插件,原生Bloom过滤器,参数包括 布隆过滤器的大小,误差率等,支持批量写入和批量查询,性能更优,针对一次大量请求,批量查询接口性能更快。

以上两种布隆过滤器性能测试结果对比:

硬件:单节点 redis,2G内存,2核cpu

测试条件:布隆过滤器容量都是 10000,容错率都是:0.001, 场景:一次请求需要过滤10000个id,每100个批量查询一次redis, 如此循环 10次。

序号 redis setbit getbit(时延单位:毫秒) redis BF.RESERVE,BF.MADD和 BF.MEXISTS (时延单位:毫秒)
1 1556 1238
2 1475 1164
3 1734 989
4 3034 1701
5 1532 1254
6 1579 1179
7 1541 1177
8 1567 1045
9 1698 1216
10 1689 1275
平均 1740.5 1223.8

3、基于以上的测试结果,如果一次推荐请求用户已经看过10000个视频,需要过滤10000个视频,时延会上涨到秒级以上,这样对于高并发情况性能是不行的,还有其他的办法嘛? 能不能一次性把整个布隆过滤器读到本地再进行过滤?

在推荐场景,布隆过滤器设置了容量5000个,容错率是0.001,布隆过滤器的最大值为:17972 byte,约 17K,如果每次写入和查询都查询整个布隆过滤器,1000qps 占用的网络带宽为: 13.92 Mbps。

测试可行性:本地构造一个布隆过滤器对象 BitSet,BitSet的最大值是int的最大,从redis查询出来序列化成BitSet对象,再进行读写操作,如果是写操作,再序列化写入redis。

复制代码
private BitSet get(long userId) {
    String key = TestBloomP.getBitMapKey(userId, "111");
    log.info("get bitset key:{}", key);
    return (BitSet) redisTemplate.opsForValue().get(key);
}
 
private void add(long userId, List<Long> filterItems) {
    BitSet bitSet = new BitSet();
 
    for (Long item : filterItems) {
        String uniqueKey = userId + ":" + item;
        List<Integer> offsets = TestBloomP.getOffsets(uniqueKey);
        for (Integer offset : offsets) {
            bitSet.set(offset);
        }
    }
    String key = TestBloomP.getBitMapKey(userId, "111");
    log.info("add bitset key:{}, size:{}", key, bitSet.size());
    redisTemplate.opsForValue().set(key, bitSet);
}

redis 使用java默认的序列化工具JdkSerializationRedisSerializer,测试结果 如下:写操作会先读再写 时延都是很低:

add bitset key:shop_video:filter_exposed:1607433260630157, size:143808, add count:1, time:36

get bitset time:9, bitset :143808

相关推荐
怪兽20142 小时前
什么是 Redis?
java·数据库·redis·缓存·面试
wangmengxxw3 小时前
Redis概述
数据库·redis·缓存
摇滚侠4 小时前
Spring Boot 3零基础教程,Spring Boot 日志的归档与切割,笔记22
spring boot·redis·笔记
爬山算法5 小时前
Redis(64)Redis的Lua脚本有哪些常见场景?
数据库·redis·lua
❀͜͡傀儡师6 小时前
OpenResty + Lua + Redis 鉴权案例,适用于 x86 和 ARM 架构的 Docker 环境。
redis·lua·openresty
Knight_AL7 小时前
Redis 限流解决方案:结合 Lua 脚本、AOP 和自定义注解的实现
redis·spring
Mr Aokey8 小时前
解决Redis数据丢失难题:深入理解RDB与AOF持久化机制
数据库·redis·缓存
柳贯一(逆流河版)9 小时前
Redis 分布式锁实战:解决马拉松报名并发冲突与 Lua 原子性优化
redis·分布式·lua
不良人天码星11 小时前
谈谈redis的持久化
数据库·redis·缓存
重整旗鼓~14 小时前
27.Redisson基本使用和可重入性
数据库·redis·缓存