Redis布隆过滤器

文章目录

书接上文

一、面试题

1. 现有50亿个电话号码,现有10万个电话号码,怎么要快速判断这些号码是否已经存在?

2. 判断是否存在,布隆过滤器了解过吗?

3. 安全连接网址,全球数10亿的网址判断?

4. 黑名单校验,识别垃圾邮件

5. 白名单校验,识别出合法用户进行后续处理

二、布隆过滤器介绍

1. 概念

布隆过滤器是由一个初始值为0的bit数组和多个哈希函数构成,用来快速判断集合中是否存在某个元素。

2. 设计思想

布隆过滤器设计的目的是为了减少内存占用,它并不保存数据信息,只是在内存中做一个是否存在标记的flag。本质就是判断具体数据是否存在于一个大的集合中。

布隆过滤器是一种类似set的数据结构,只是统计结果在巨量数据下有点小瑕疵,不够完美。

布隆过滤器《英语:Bloom Filter)是1970 年由布隆提出的.
它实际上是一个很长的二进制数組(00000000)十一系列随机hash算法映射两数,主要用于判断一个元素是否在集合中

通常我们会遇到很多要判断一个元素是否在某个集合中的业务场景,一般想到的是将集合中所有元素保存起来,然后通过比较确定。链表、树、哈希表等等数据结构都是这种思路。但是随着集合中元素的增加,我们需要的存储空间也会星现线性增长,最终达到瓶颈。同时检索速度也越来越慢,上述三种结构的检索时间复杂度分别为O(n),o(logn),0(1)。这个时候,布隆过滤器(Bloom Filter)就应运而生:

3. 特点

布隆过滤器的特点是什么?

布隆过滤器能够高效的插入和查询,并且占用的空间很小,但是它的返回的结果是不确定的,所以它本身是存在一定缺陷的(因为只要使用hash函数就会发生hash冲突问题,所以布隆过滤器一个bit可能对应多条数据,这种情况就无法进行判断具体记录的是哪条数据)。

一个元素如果判断结果为存在,其实元素不一定存在(出现了hash冲突),但是判断结果为不存在,该元素就一定不存在

布隆过滤器可以添加元素,但是不能删除元素,由于设计hashcode判断依据,删除元素会导致误判率增加。

4. 底层原理

  • 布隆过滤器实现原理和数据结构

布隆过滤器(Bloom Filter)是一种专门用来解决去重问题的高级数据结构。实质上是一个大型位数组和几个不同的无偏hash函数(无偏表示分布均匀)。由一个初始值为0的bit数组和多个哈希函数构成,用来快速判断某个数据是否存在。但是和HyperLogLog一样,它也一样有那么一点点不精确,也存在一定的误判率。

添加Key时

会使用多个hash函数对key进行hash运算得到一个整数索引值,对位数组长度进行取模得到一个位置,每个hash函数都会得到一个不同的位置,将这几个位置都置为1就完成了add操作。

查询Key时

只要其中有一位是0就表示这个key不存在,但如果是1,则不一定存在对应的key

hash冲突导致数据不精准

当有变量加入集合时,通过N个映射函数讲这个变量映射到位图中的N个店,把他们都置位1

查询某个变量时,我们只要看看每个元素对应的多个点是否都为1,就大概率知道这个元素是否存在了,如果这些点只要有一个不是1,那么个这个变量一定不存在。正是基于布隆过滤器的快速检测特性,我们可以在把数据与入数据库时,使用布隆过滤器做个标记。当缓存缺失后,应用查询数据库时,可以通过查询布隆过滤器快速判断数据是否存在。如果不存在,就不用再去数据库中查询了。这样一来,即使发生缓存穿透了,大量请求只会查询Redis和布隆过滤器,而不会积压到数据库,也就不会影响数据库的正常运行。布隆过滤器可以使用Redis实现,本身就能承担较大的并发访问压力。

  • 布隆过滤器使用3步骤

1. 初始化Bitmap

布隆过滤器本质上时由长度为m的位向量或位列表(仅包括0或1位值的列表)组成,最初所有的值均设为0。

2. 添加占坑位

当我们向布隆过滤器中添加数据时,为了尽量地址不冲突,会使用多个hash 函数对 key 进行运算,算得一个下标索引值,然后对位数组长度进行取模运算得到一个依置,每个hash 两数都会算得一个不同的位置。再把位数组的这几个位置都置为 1就完成了add 操作。例如,我们添加一个字符串wmyskxz,对字符串进行多次hash(key)一>取模运行一>得到坑位

3. 判断是否存在

向布隆过滤器查面某个key是否存在时,先把这个 key 通过相同的多个hash 两数进行运算,查看对应的位置是否都为 1,只要有一个位为零,那么说明布隆过滤器中这个key 不存在;如果这几个位置全都是 1,那么说明极有可能存在;因为这此位置的 1可能是因为其他的 key 存在导致的,也就是前面说过的hash冲突。。。

就比如我们在add 了字符串wmyskxz数据之后,很明显下面1/3/5 这几个位置的1是因为第一次添加的 wmyskxz 而导致的;比时我们查询一个没添加过的不存在的字符串inexistent-key,它有可能计算后坑位也是1/3/5,这就是误判了

  • 布隆过滤器误判率,为什么不能删除

这是因为布隆过滤器的误判是指多个输入经过hash之后在相同的bit位置都是1,这样就无法判断究竟是哪个输入产生的,因此误判的根源在于相同的bit位被多次映射且置1。这种情况也造成了布隆过滤器的删除问题,因为布隆过滤器的每一个bit并不是独占的,很有可能多个元素共享了一位。如果我们直接删除这一位的话,会影响其它元素。

使用的时候最好不要让实际元素大于初始化数量,一次给够避免扩容,当实际元素大于初始化数量的时候,应该对布隆过滤器进行重建,重新分配一个size更大的过滤器,再将历史元素批量add

三、使用场景

  • 解决缓存穿透问题,和redis结合bitmap使用:

缓存穿透

一般情况下,先查询redis是否有该条数据,缓存中没有时,再查询数据库。当数据库也不存在该条数据的时,每次查询都要访问数据库,这就是缓存穿透。缓存穿透带来的问题是,当有大量请求查询数据库不存在的数据时,就会给数据库带来压力,甚至会带来压力,甚至会搞垮数据库。

布隆过滤器可以解决缓存穿透问题,把已存在的key存在布隆过滤器中,相当于redis前面挡着一个布隆过滤器。当有新的请求时,先到布隆过滤器中查询是否存在,如果布隆过滤器中不存在直接返回,如果存在就查redis,如果redis没有再查数据库。

  • 黑名单校验,识别垃圾邮件

发现存在黑名单中,就执行特定操作,比如识别垃圾邮件,只要是邮箱在黑名单上,就可以识别为垃圾邮件。假设黑名单的数量时数以亿计的,存放起来是非常耗时以及耗费空间的,布隆过滤器就是一个较好的解决方案,把所有的黑名单都放在布隆过滤器汇总,在收到邮件时,判断邮件是否在布隆过滤器中。

  • 安全连接地址,全球10亿的网址判断
相关推荐
远歌已逝1 小时前
维护在线重做日志(二)
数据库·oracle
只因在人海中多看了你一眼2 小时前
分布式缓存 + 数据存储 + 消息队列知识体系
分布式·缓存
qq_433099403 小时前
Ubuntu20.04从零安装IsaacSim/IsaacLab
数据库
Dlwyz3 小时前
redis-击穿、穿透、雪崩
数据库·redis·缓存
工业甲酰苯胺4 小时前
Redis性能优化的18招
数据库·redis·性能优化
没书读了5 小时前
ssm框架-spring-spring声明式事务
java·数据库·spring
i道i6 小时前
MySQL win安装 和 pymysql使用示例
数据库·mysql
小怪兽ysl6 小时前
【PostgreSQL使用pg_filedump工具解析数据文件以恢复数据】
数据库·postgresql
wqq_9922502777 小时前
springboot基于微信小程序的食堂预约点餐系统
数据库·微信小程序·小程序
爱上口袋的天空7 小时前
09 - Clickhouse的SQL操作
数据库·sql·clickhouse