布隆过滤器笔记

课程地址

布隆过滤器由一个很长的二进制向量一系列哈希函数组成

特性:布隆过滤器可以告诉我们 "某样东西一定不存在 或者可能存在",也就是说布隆过滤器说这个数不存在则一定不存在,布隆过滤器说这个数存在可能不存在。这个特性能很好地被用于解决 "Redis 缓存穿透"的问题

原理:使用多个哈希函数将同一个键值映射到不同的位置,所以布隆过滤器的时间复杂度是 O(h),其中 h 是哈希函数的个数

判断是否存在:

python 复制代码
exist = all(bitmap[hash(key)] == 1 for hash in hashers)

事实上,不同的 key 可能被映射到同一个哈希值。例如下面的例子中"你好"和 "hello" 都被映射到下标 2,出现了哈希冲突:

使用多个 hash 函数的目的就是为了避免哈希冲突导致的误判

在实际的布隆过滤器工具包中,误判率是可以配置的,且误判率越低,需要的 bitmap 越长,需要的 hash 函数个数越多,运行时间也越长

布隆过滤器的优点:

  • 速度快,空间省
  • 保密性强,不存储元素本身,只计算哈希

但是受到二进制只能存储 2 种状态的限制,布隆过滤器不能删除元素

相关推荐
小马爱打代码3 小时前
Redis 集群方案详解:主从复制、哨兵、脑裂、分片集群和哈希槽
数据库·redis·哈希算法
民乐团扒谱机4 小时前
【AI笔记】短时纯音时长对音高感知偏移效应研究综述
人工智能·笔记
暴躁小师兄数据学院4 小时前
【AI大数据工程师特训笔记】第12讲:表分区与索引
大数据·笔记·sql·postgresql
海南java第二人4 小时前
ClickHouse 稀疏索引深度解析:为什么 OLAP 数据库不用 B-Tree?
数据库·clickhouse
Litluecat4 小时前
信创迁移:Oracle切换海量数据库,慢sql扫描
数据库·sql·oracle·信创·海量
消失在人海中5 小时前
Oracle的CURRENT REDO丢失,数据丢失风险分析
数据库·oracle
喵了几个咪5 小时前
选择第三方IAM还是自建权限体系?中小型后台系统权限架构决策指南
数据库·oracle·架构
暴躁小师兄数据学院6 小时前
【AI大数据工程师特训笔记】第16讲:大数据环境安装
大数据·hadoop·笔记·flink·spark·database
Elastic 中国社区官方博客6 小时前
Kibana:使用 AI Chat 及 MCP 轻松创建 AI 原生仪表板
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·信息可视化