【C++】哈希之布隆过滤器

目录

一、布隆过滤器概念

布隆过滤器是由布隆(Burton Howard Bloom)在1970年提出的 一种紧凑型的、比较巧妙的概率型数据结构,特点是高效地插入和查询,可以用来告诉你 "某样东西一定不存在或者可能存在",它是用多个哈希函数,将一个数据映射到位图结构中 。此种方式不仅可以提升查询效率,也可以节省大量的内存空间。

布隆过滤器与前面学过的位图很相似,查找效率高且节省空间 。但是位图有一个缺点:只能处理整型。布隆过滤器恰好弥补了这一缺陷,可以处理各种类型,最常见的是处理字符串。

位图与布隆过滤器主要区别:

  • 位图是一个元素映射一个比特位
  • 布隆过滤器是一个元素通过多个哈希函数映射多个比特位

二、布隆过滤器的插入

哈希函数:

布隆过滤器有多个哈希函数,这样可以映射多个位置,降低冲突概率。这里参考了3种哈希函数写法:

cpp 复制代码
// BKDR
struct HashFuncBKDR
{
	size_t operator()(const string& s)
	{
		size_t hash = 0;
		for (auto ch : s)
		{
			hash *= 131;
			hash += ch;
		}
		return hash;
	}
};

// AP
struct HashFuncAP
{
	size_t operator()(const string& s)
	{
		size_t hash = 0;
		for (size_t i = 0; i < s.size(); i++)
		{
			// 偶数位字符
			if ((i & 1) == 0) 
			{
				hash ^= ((hash << 7) ^ (s[i]) ^ (hash >> 3));
			}
			// 奇数位字符
			else              
			{
				hash ^= (~((hash << 11) ^ (s[i]) ^ (hash >> 5)));
			}
		}
		return hash;
	}
};

// DJB
struct HashFuncDJB
{
	size_t operator()(const string& s)
	{
		size_t hash = 5381;
		for (auto ch : s)
		{
			hash = hash * 33 ^ ch;
		}
		return hash;
	}
};

布隆过滤器的长度与插入的元素个数有关,有人推导了一个公式:

k为哈希函数的个数,这里有3个哈希函数,m为布隆过滤器的长度,n为插入元素的个数,ln2的大小约为0.69,推导出:4.34 * n = m,简化一下m与n的关系为:5n = m

cpp 复制代码
private:
	static const size_t M = 5 * N;
	bitset<M> _bs;

插入元素时,不同的哈希函数计算出该元素的不同的映射位置,然后将要映射的位置标记为存在,即比特位为1

cpp 复制代码
//插入
void Set(const K& key)
{
	size_t hash1 = HashFuncBKDR()(key) % M;
	size_t hash2 = HashFuncAP()(key) % M;
	size_t hash3 = HashFuncDJB()(key) % M;
	_bs.set(hash1);
	_bs.set(hash2);
	_bs.set(hash3);
}

三、布隆过滤器的查找

这里先来对比一下位图与布隆过滤器的查找位置冲突问题:

  • 查找A元素,A元素原来不在,B元素在,B元素映射的比特位与A元素映射的比特位重合,即冲突,查找结果为在,因为是B元素的,有误判
  • 查找A元素,A元素原来不在,B元素也不在,A映射的比特位为0,查找结果为不在,没有误判

位图:

布隆过滤器:

代码:

cpp 复制代码
//查找
bool Test(const K& key)
{
	size_t hash1 = HashFuncBKDR()(key) % M;
	if (!_bs.test(hash1))
		return false;
	size_t hash2 = HashFuncAP()(key) % M;
	if (!_bs.test(hash2))
		return false;
	size_t hash3 = HashFuncDJB()(key) % M;
	if (!_bs.test(hash3))
		return false;
}

总结:

  • 查找一个元素,计算出来的哈希值对应的比特位只要有一个为0,确定该元素就是不在的;否则可能在。
  • 有些哈希函数是存在误判的,所以布隆过滤器只是在一定程度上降低了哈希冲突的概率,但还是避免不了哈希冲突

四、布隆过滤器的删除

布隆过滤器不能直接支持删除工作,因为在删除一个元素时,可能会影响其他元素。 比如:删除图中"百度"元素,如果直接将该元素所对应的二进制比特位置0,"苹果"元素也被删除了,因为这两个元素在多个哈希函数计算出的比特位上刚好有重叠。

一种支持删除的方法:将布隆过滤器中的每个比特位扩展成一个小的计数器,插入元素时给k个计数器(k个哈希函数计算出的哈希地址)加一,删除元素时,给k个计数器减一,通过多占用几倍存储空间的代价来增加删除操作。

五、优缺点比较

布隆过滤器:

  • 优点:节省空间,效率高,可以处理各种类型
  • 缺点:不支持删除,存在误判

位图:

  • 优点:节省空间,效率高
  • 缺点:只能处理整型
相关推荐
小刘|15 分钟前
《Java 实现希尔排序:原理剖析与代码详解》
java·算法·排序算法
jjyangyou20 分钟前
物联网核心安全系列——物联网安全需求
物联网·算法·安全·嵌入式·产品经理·硬件·产品设计
van叶~36 分钟前
算法妙妙屋-------1.递归的深邃回响:二叉树的奇妙剪枝
c++·算法
简简单单做算法37 分钟前
基于Retinex算法的图像去雾matlab仿真
算法·matlab·图像去雾·retinex
knighthood20011 小时前
解决:ros进行gazebo仿真,rviz没有显示传感器数据
c++·ubuntu·ros
云卓SKYDROID1 小时前
除草机器人算法以及技术详解!
算法·机器人·科普·高科技·云卓科技·算法技术
半盏茶香1 小时前
【C语言】分支和循环详解(下)猜数字游戏
c语言·开发语言·c++·算法·游戏
徐子童1 小时前
双指针算法习题解答
算法
小堇不是码农1 小时前
在VScode中配置C_C++环境
c语言·c++·vscode
Jack黄从零学c++1 小时前
C++ 的异常处理详解
c++·经验分享