布隆过滤器(Bloom Filter)

布隆过滤器(Bloom Filter)

一句话:它是一种"用极小内存判断元素在不在集合里"的结构,特点是:
不存在一定准,存在不一定准可能是误判。

一、它解决的问题?

场景:假设有 1 亿个 URL/用户ID/订单号,每次都需要回答"这个在不在里面?"

解决的方案可能有:

  • 用Set/HashSet:存1亿条可能需要几GB的内存
  • 查数据库:慢,还压库
  • 布隆过滤器:几十MB的内存,还快,缺点是可能会误判

简洁来说,就是用极小的空间,快速进行判断,牺牲少量准确率换取速度与内存。

二、原理

结构

  • 一个很长的位数组(bit array,全是 0)
  • k 个不同的哈希函数

添加元素

erlang 复制代码
加入 "张三":
hash1("张三") = 3  → 第 3 位置 1
hash2("张三") = 9  → 第 9 位置 1
hash3("张三") = 15 → 第 15 位置 1

查询元素

erlang 复制代码
查询 "张三":
看第 3、9、15 位是不是都是 1
→ 全都是 1 → 可能"存在"(不一定真存在)
→ 有一个是 0 → 一定"不存在"(100% 准确)

关键结论

判断结果 准确性
说不存在 100% 准确(因为没有假阴性)
说存在 可能误判(假阳性,False Positive)

为什么会误判:别的元素恰好把这三个位置都置成了 1,你查的元素"借"了别人的 1,就被误判成存在。

三、核心特性

特性 说明
空间极小 每个元素只占几个 bit
查询极快 O(k),k 是哈希函数个数(常数)
只增不减 不支持删除(删了会把别人的位置清掉)
取不出元素 只能判断在不在,不能列出里面有什么
有误判率 可控(通常配 0.1% ~ 1%)

原生布隆过滤器不支持删除:因为多个元素会共享同一个 bit 位,清空某元素的位会误影响其他元素的判断。

如果需要删除能力,可使用计数布隆过滤器(Counting Bloom Filter),每个位置用计数器代替单个 bit,但会增加空间开销。

四、误判率怎么控制?

误判率取决于三个参数:

参数 含义
m 位数组长度(越大误判越低)
k 哈希函数个数(太多太少都不好,一般 4~8)
n 已插入元素个数(越多误判越高)

经验公式:约 10 bit / 元素 时,误判率约 1%。

java 复制代码
// Guava 的用法:预估 100 万条,误判率 1%
BloomFilter<String> filter = BloomFilter.create(
    Funnels.stringFunnel(StandardCharsets.UTF_8),
    1_000_000,        // 预计插入量
    0.01              // 误判率
);
filter.put("张三");
filter.mightContain("张三");    // true
filter.mightContain("李四");    // 可能 false(一定不在),也可能 true(误判)

注意方法名是 mightContain("可能包含"),命名就提醒你有误判。

五、典型场景

场景 怎么用
防止缓存穿透 查缓存前先过布隆过滤器,不在就直接返回
URL 去重(爬虫) 判断这个链接爬过没有
黑名单 / 垃圾邮件过滤 快速排除"肯定不是"的
推荐系统去重 已推荐过的内容不再推
注册用户名查重 先挡掉肯定不存在的

解决缓存穿透(最经典)

bash 复制代码
问题:有人恶意查询不存在的 id(如 id=-1),缓存不命中 → 每次都打数据库

解决:
① 启动时把所有有效 id 灌进布隆过滤器
② 请求来了先查布隆过滤器
   → 说不存在 → 直接返回,不打库 ✅
   → 说存在 → 再走缓存/数据库

挡掉大量无效请求,保护数据库。
布隆过滤器可挡住绝大多数无效请求,但因存在假阳性,仍会有少量误判的无效请求穿透到数据库,属于 "大幅降低风险" 而非 "完全杜绝"。

六、在 Redis 里怎么用?

Redis 原生不支持,需要 RedisBloom 模块。

bash 复制代码
BF.ADD users "张三"              # 添加
BF.EXISTS users "张三"           # 判断(1=可能存在,0=一定不存在)
BF.MADD users "李四" "王五"       # 批量添加
BF.MEXISTS users "李四" "赵六"    # 批量判断

BF.RESERVE myfilter 0.01 1000000  # 创建:误判率 0.01,预计 100 万条
BF.INFO myfilter                  # 查看占用情况

小结

布隆过滤器:多位数组 + 多个哈希,说"不在"一定对,说"在"可能是骗你。

能加不能删,能查不能取,空间极小有误判。

最常用:挡缓存穿透,先过过滤器,不在就直接返回。

相关推荐
代码丰40 分钟前
从重复点击到多实例并发:异步报表导出的五层幂等与防重设计
后端
斯维赤42 分钟前
三级缓存为什么是三级?二级缓存不够吗
前端·后端·面试
Rain的Java大神之路1 小时前
把数组本身变成哈希表:原地哈希搞定 LeetCode 41「缺失的第一个正数」
java·后端·leetcode
卷无止境1 小时前
FDE全解析:把软件真正落地到客户现场的那类工程师
后端
锋行天下1 小时前
LangGraph 对接 MCP 实战指南:从本地开发到线上部署与模型防坑
前端·人工智能·后端
利威尔xu1 小时前
2026-11-18-Go接口幂等设计实战
开发语言·后端·golang
喵个咪2 小时前
RushWind Admin — update_mask 写面:字段级白名单、显式清除与点路径合并
后端·rust
喵个咪2 小时前
RushWind Admin — 多租户行级隔离与租户回收站:Viewer 三态、repo_shell! 与全域级联清除
后端·rust
喵个咪2 小时前
RushWind CMS — 三服务拓扑:core 领域层、双 BFF 薄代理与一份契约的双面输出
后端·rust