Redis 布隆过滤器性能对比分析

redis 实现布隆过滤器实现方法:

1、redis 的 setbit 和 getbit

特点:对于某个bit 设置0或1,对于大量的值需要存储,非常节省空间,查询速度极快,但是不能查询整个key所有的bit,在一次请求有大量的值需要过滤的场景会出现多次请求getbit,性能会急剧下降,需要把多个gitbit合并成批次,使用lua脚本或者pipeline执行提高效率。

2、redis 的 BF.RESERVE,BF.MADD和 BF.MEXISTS

特点:redis 4.0 以上官方提供的一个插件,原生Bloom过滤器,参数包括 布隆过滤器的大小,误差率等,支持批量写入和批量查询,性能更优,针对一次大量请求,批量查询接口性能更快。

以上两种布隆过滤器性能测试结果对比:

硬件:单节点 redis,2G内存,2核cpu

测试条件:布隆过滤器容量都是 10000,容错率都是:0.001, 场景:一次请求需要过滤10000个id,每100个批量查询一次redis, 如此循环 10次。

序号 redis setbit getbit(时延单位:毫秒) redis BF.RESERVE,BF.MADD和 BF.MEXISTS (时延单位:毫秒)
1 1556 1238
2 1475 1164
3 1734 989
4 3034 1701
5 1532 1254
6 1579 1179
7 1541 1177
8 1567 1045
9 1698 1216
10 1689 1275
平均 1740.5 1223.8

3、基于以上的测试结果,如果一次推荐请求用户已经看过10000个视频,需要过滤10000个视频,时延会上涨到秒级以上,这样对于高并发情况性能是不行的,还有其他的办法嘛? 能不能一次性把整个布隆过滤器读到本地再进行过滤?

在推荐场景,布隆过滤器设置了容量5000个,容错率是0.001,布隆过滤器的最大值为:17972 byte,约 17K,如果每次写入和查询都查询整个布隆过滤器,1000qps 占用的网络带宽为: 13.92 Mbps。

测试可行性:本地构造一个布隆过滤器对象 BitSet,BitSet的最大值是int的最大,从redis查询出来序列化成BitSet对象,再进行读写操作,如果是写操作,再序列化写入redis。

复制代码
private BitSet get(long userId) {
    String key = TestBloomP.getBitMapKey(userId, "111");
    log.info("get bitset key:{}", key);
    return (BitSet) redisTemplate.opsForValue().get(key);
}
 
private void add(long userId, List<Long> filterItems) {
    BitSet bitSet = new BitSet();
 
    for (Long item : filterItems) {
        String uniqueKey = userId + ":" + item;
        List<Integer> offsets = TestBloomP.getOffsets(uniqueKey);
        for (Integer offset : offsets) {
            bitSet.set(offset);
        }
    }
    String key = TestBloomP.getBitMapKey(userId, "111");
    log.info("add bitset key:{}, size:{}", key, bitSet.size());
    redisTemplate.opsForValue().set(key, bitSet);
}

redis 使用java默认的序列化工具JdkSerializationRedisSerializer,测试结果 如下:写操作会先读再写 时延都是很低:

add bitset key:shop_video:filter_exposed:1607433260630157, size:143808, add count:1, time:36

get bitset time:9, bitset :143808

相关推荐
Kagol4 小时前
macOS 和 Windows 操作系统下如何安装和启动 MySQL / Redis 数据库
redis·后端·mysql
hzulwy5 小时前
Redis常用的数据结构及其使用场景
数据库·redis
ashane13146 小时前
Redis 哨兵集群(Sentinel)与 Cluster 集群对比
redis
Y第五个季节7 小时前
Redis - HyperLogLog
数据库·redis·缓存
Justice link8 小时前
企业级NoSql数据库Redis集群
数据库·redis·缓存
爱的叹息10 小时前
Spring Boot 集成Redis 的Lua脚本详解
spring boot·redis·lua
morris13118 小时前
【redis】redis实现分布式锁
数据库·redis·缓存·分布式锁
爱的叹息20 小时前
spring boot集成reids的 RedisTemplate 序列化器详细对比(官方及非官方)
redis
weitinting21 小时前
Ali linux 通过yum安装redis
linux·redis
纪元A梦1 天前
Redis最佳实践——首页推荐与商品列表缓存详解
数据库·redis·缓存