【C++】哈希之布隆过滤器

目录

一、布隆过滤器概念

布隆过滤器是由布隆(Burton Howard Bloom)在1970年提出的 一种紧凑型的、比较巧妙的概率型数据结构,特点是高效地插入和查询,可以用来告诉你 "某样东西一定不存在或者可能存在",它是用多个哈希函数,将一个数据映射到位图结构中 。此种方式不仅可以提升查询效率,也可以节省大量的内存空间。

布隆过滤器与前面学过的位图很相似,查找效率高且节省空间 。但是位图有一个缺点:只能处理整型。布隆过滤器恰好弥补了这一缺陷,可以处理各种类型,最常见的是处理字符串。

位图与布隆过滤器主要区别:

  • 位图是一个元素映射一个比特位
  • 布隆过滤器是一个元素通过多个哈希函数映射多个比特位

二、布隆过滤器的插入

哈希函数:

布隆过滤器有多个哈希函数,这样可以映射多个位置,降低冲突概率。这里参考了3种哈希函数写法:

cpp 复制代码
// BKDR
struct HashFuncBKDR
{
	size_t operator()(const string& s)
	{
		size_t hash = 0;
		for (auto ch : s)
		{
			hash *= 131;
			hash += ch;
		}
		return hash;
	}
};

// AP
struct HashFuncAP
{
	size_t operator()(const string& s)
	{
		size_t hash = 0;
		for (size_t i = 0; i < s.size(); i++)
		{
			// 偶数位字符
			if ((i & 1) == 0) 
			{
				hash ^= ((hash << 7) ^ (s[i]) ^ (hash >> 3));
			}
			// 奇数位字符
			else              
			{
				hash ^= (~((hash << 11) ^ (s[i]) ^ (hash >> 5)));
			}
		}
		return hash;
	}
};

// DJB
struct HashFuncDJB
{
	size_t operator()(const string& s)
	{
		size_t hash = 5381;
		for (auto ch : s)
		{
			hash = hash * 33 ^ ch;
		}
		return hash;
	}
};

布隆过滤器的长度与插入的元素个数有关,有人推导了一个公式:

k为哈希函数的个数,这里有3个哈希函数,m为布隆过滤器的长度,n为插入元素的个数,ln2的大小约为0.69,推导出:4.34 * n = m,简化一下m与n的关系为:5n = m

cpp 复制代码
private:
	static const size_t M = 5 * N;
	bitset<M> _bs;

插入元素时,不同的哈希函数计算出该元素的不同的映射位置,然后将要映射的位置标记为存在,即比特位为1

cpp 复制代码
//插入
void Set(const K& key)
{
	size_t hash1 = HashFuncBKDR()(key) % M;
	size_t hash2 = HashFuncAP()(key) % M;
	size_t hash3 = HashFuncDJB()(key) % M;
	_bs.set(hash1);
	_bs.set(hash2);
	_bs.set(hash3);
}

三、布隆过滤器的查找

这里先来对比一下位图与布隆过滤器的查找位置冲突问题:

  • 查找A元素,A元素原来不在,B元素在,B元素映射的比特位与A元素映射的比特位重合,即冲突,查找结果为在,因为是B元素的,有误判
  • 查找A元素,A元素原来不在,B元素也不在,A映射的比特位为0,查找结果为不在,没有误判

位图:

布隆过滤器:

代码:

cpp 复制代码
//查找
bool Test(const K& key)
{
	size_t hash1 = HashFuncBKDR()(key) % M;
	if (!_bs.test(hash1))
		return false;
	size_t hash2 = HashFuncAP()(key) % M;
	if (!_bs.test(hash2))
		return false;
	size_t hash3 = HashFuncDJB()(key) % M;
	if (!_bs.test(hash3))
		return false;
}

总结:

  • 查找一个元素,计算出来的哈希值对应的比特位只要有一个为0,确定该元素就是不在的;否则可能在。
  • 有些哈希函数是存在误判的,所以布隆过滤器只是在一定程度上降低了哈希冲突的概率,但还是避免不了哈希冲突

四、布隆过滤器的删除

布隆过滤器不能直接支持删除工作,因为在删除一个元素时,可能会影响其他元素。 比如:删除图中"百度"元素,如果直接将该元素所对应的二进制比特位置0,"苹果"元素也被删除了,因为这两个元素在多个哈希函数计算出的比特位上刚好有重叠。

一种支持删除的方法:将布隆过滤器中的每个比特位扩展成一个小的计数器,插入元素时给k个计数器(k个哈希函数计算出的哈希地址)加一,删除元素时,给k个计数器减一,通过多占用几倍存储空间的代价来增加删除操作。

五、优缺点比较

布隆过滤器:

  • 优点:节省空间,效率高,可以处理各种类型
  • 缺点:不支持删除,存在误判

位图:

  • 优点:节省空间,效率高
  • 缺点:只能处理整型
相关推荐
机器视觉知识推荐、就业指导1 小时前
C++设计模式:建造者模式(Builder) 房屋建造案例
c++
Swift社区2 小时前
LeetCode - #139 单词拆分
算法·leetcode·职场和发展
Kent_J_Truman2 小时前
greater<>() 、less<>()及运算符 < 重载在排序和堆中的使用
算法
IT 青年3 小时前
数据结构 (1)基本概念和术语
数据结构·算法
Yang.993 小时前
基于Windows系统用C++做一个点名工具
c++·windows·sql·visual studio code·sqlite3
熬夜学编程的小王3 小时前
【初阶数据结构篇】双向链表的实现(赋源码)
数据结构·c++·链表·双向链表
zz40_3 小时前
C++自己写类 和 运算符重载函数
c++
Dong雨3 小时前
力扣hot100-->栈/单调栈
算法·leetcode·职场和发展
六月的翅膀3 小时前
C++:实例访问静态成员函数和类访问静态成员函数有什么区别
开发语言·c++