布隆过滤器笔记

课程地址

布隆过滤器由一个很长的二进制向量 和一系列哈希函数组成

特性:布隆过滤器可以告诉我们 "某样东西一定不存在 或者可能存在",也就是说布隆过滤器说这个数不存在则一定不存在,布隆过滤器说这个数存在可能不存在。这个特性能很好地被用于解决 "Redis 缓存穿透"的问题

原理:使用多个哈希函数将同一个键值映射到不同的位置,所以布隆过滤器的时间复杂度是 O(h),其中 h 是哈希函数的个数

判断是否存在:

python 复制代码
exist = all(bitmap[hash(key)] == 1 for hash in hashers)

事实上,不同的 key 可能被映射到同一个哈希值。例如下面的例子中"你好"和 "hello" 都被映射到下标 2,出现了哈希冲突:

使用多个 hash 函数的目的就是为了避免哈希冲突导致的误判

在实际的布隆过滤器工具包中,误判率是可以配置的,且误判率越低,需要的 bitmap 越长,需要的 hash 函数个数越多,运行时间也越长

布隆过滤器的优点:

  • 速度快,空间省
  • 保密性强,不存储元素本身,只计算哈希

但是受到二进制只能存储 2 种状态的限制,布隆过滤器不能删除元素

相关推荐
一条破秋裤3 小时前
【1115】【多线程】【笔记】
前端·chrome·笔记
黑十3 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
神明不懂浪漫4 小时前
【第八章】多线程(一)
java·开发语言·经验分享·笔记
Databend4 小时前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
Databend4 小时前
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战
大数据·数据库·sql
kyle~5 小时前
SQLite -- 低成本持久化能力
数据库·sqlite
上海潭龙东海科技有限公司5 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
老纪的技术唠嗑局5 小时前
OceanBase AI数据大会,我会这么逛
数据库
星恒随风5 小时前
MySQL 从零入门(九):事务管理详解——ACID、COMMIT、ROLLBACK、SAVEPOINT 与四种隔离级别
linux·服务器·数据库·笔记·mysql
蒸蒸yyyyzwd5 小时前
秋招操作系统错题本
笔记·八股