【C++】哈希的应用：位图和布隆过滤器

☆璇2025-08-14 23:41

目录

一、位图

[1.1 位图的概念](#1.1 位图的概念)

[1.2 位图的实现](#1.2 位图的实现)

[1.3 位图的应用](#1.3 位图的应用)

二、布隆过滤器

[2.1 布隆过滤器的提出](#2.1 布隆过滤器的提出)

[2.2 布隆过滤器的概念](#2.2 布隆过滤器的概念)

[2.3 布隆过滤器的插入和查找](#2.3 布隆过滤器的插入和查找)

[2.4 布隆过滤器的删除](#2.4 布隆过滤器的删除)

[2.5 布隆过滤器的优点](#2.5 布隆过滤器的优点)

[2.6 布隆过滤器的缺点](#2.6 布隆过滤器的缺点)

一、位图

1.1 位图的概念

  1. 面试题

给40亿个不重复的无符号整数，没排过序。给一个无符号整数，如何快速判断一个数是否在这40亿个数中。【腾讯】

  1. 遍历，时间复杂度(O(N))
  2. 排序(O(N*logN))，利用二分查找(O(logN))
  3. 位图解决：数据是否在给定的整形数据中，结果是在或者不在，刚好是两种状态，那么可以使用一个二进制比特位来代表数据是否存在的信息，如果二进制比特位为1，代表存在，为0代表不存在。比如：
  1. 位图概念

所谓位图，就是用每一位来存储某种状态，适用于海量数据，数据无重复的场景。通常是用来判断某个数据存不存在。

1.2 位图的实现

cpp 复制代码 
template<size_t N>
class Bitset
{
public:
	Bitset()
	{
		_bs.resize(N / 32 + 1);
	}

	void set(size_t x) // 将该位置置为1
	{
		size_t i = x / 32;
		size_t j = x % 32;

		_bs[i] |= (1 << j);
	}

	void reset(size_t x) // 将该位置置为0
	{
		size_t i = x / 32;
		size_t j = x % 32;

		_bs[i] &= (~(1 << j));
	}

	bool test(size_t x) // 判断该数是否存在
	{
		size_t i = x / 32;
		size_t j = x % 32;

		return _bs[i] & (1 << j);
	}
private:
	vector<int> _bs;
};

测试代码：

cpp 复制代码 
void test_bitset1()
{
	int a1[] = { 5,7,9,2,5,99,5,5,7,5,3,9,2,55,1,5,6 };
	int a2[] = { 5,3,5,99,6,99,33,66 };

	Bitset<100> bs1;
	Bitset<100> bs2;

	for (auto e : a1)
	{
		bs1.set(e);
	}

	for (auto e : a2)
	{
		bs2.set(e);
	}

	for (size_t i = 0; i < 100; i++)
	{
		if (bs1.test(i) && bs2.test(i))
		{
			cout << i << endl;
		}
	}
}

1.3 位图的应用

  1. 快速查找某个数据是否在一个集合中
  2. 排序 + 去重
  3. 求两个集合的交集，并集等
  4. 操作系统中磁盘块标记

位图应用变形：1个文件有100亿个int，1G内存，设计算法找到出现次数不超过2次的所有整数

cpp 复制代码 
	template<size_t N>
	class TwoBiteset
	{
	public:
		void set(size_t x)
		{
			bool b1 = _bs1.test(x);
			bool b2 = _bs2.test(x);

			if (!b1 && !b2) // 第一次出现 00 -> 01
				_bs2.set(x);
			else if (b1 && !b2) // 第二次出现 01 -> 10
			{
				_bs2.reset(x);
				_bs1.set(x);
			}
			else if (!b1 && b2) // 第三次即以上 10 -> 11
			{
				_bs2.set(x);
			}
		}

		size_t count(size_t x)
		{
			bool b1 = _bs1.test(x);
			bool b2 = _bs2.test(x);

			if (!b1 && !b2) // 出现次数0
				return 0;
			else if (!b1 && b2) // 出现次数1
				return 1;
			else if (b1 && !b2) // 出现次数2
				return 2;
			else // 出现次数大于2
				return 3;
		}
	private:
		Bitset<N> _bs1;
		Bitset<N> _bs2;
	};

测试代码：

cpp 复制代码 
void test_twobitset()
{
	TwoBiteset<100> tbs;
	int a[] = { 5,7,9,2,5,99,5,5,7,5,3,9,2,55,1,5,6,6,6,6,7,9 };
	for (auto e : a)
	{
		tbs.set(e);
	}

	for (size_t i = 0; i < 100; ++i)
	{
		//cout << i << "->" << tbs.get_count(i) << endl;
		if (tbs.count(i) == 1 || tbs.count(i) == 2)
		{
			cout << i << endl;
		}
	}
}

二、布隆过滤器

2.1 布隆过滤器的提出

我们在使用新闻客户端看新闻时，它会给我们不停地推荐新的内容，它每次推荐时要去重，去掉那些已经看过的内容。问题来了，新闻客户端推荐系统如何实现推送去重的？ 用服务器记录了用户看过的所有历史记录，当推荐系统推荐新闻时会从每个用户的历史记录里进行筛选，过滤掉那些已经存在的记录。 如何快速查找呢？

  1. 用哈希表存储用户记录，缺点：浪费空间。
  2. 用位图存储用户记录，缺点：位图一般只能处理整形，如果内容编号是字符串，就无法处理了。
  3. 将哈希与位图结合，即布隆过滤器。

2.2 布隆过滤器的概念

布隆过滤器 是由布隆（Burton Howard Bloom）在1970年提出的 一种紧凑型的、比较巧妙的概率型数据结构 ，特点是高效地插入和查询 ，可以用来告诉你 "某样东西一定不存在或者可能存在 "，它是用多个哈希函数，将一个数据映射到位图结构中 。此种方式不仅可以提升查询效率 ，也可以节省大量的内存空间。

2.3 布隆过滤器的插入和查找

1. 插入

向布隆过滤器中插入：world

向布隆过滤器中插入：hello

2. 查找

布隆过滤器的思想是将一个元素用多个哈希函数映射到一个位图中，因此被映射到的位置的比特位一定为1。所以可以按照以下方式进行查找：分别计算每个哈希值对应的比特位置存储的是否为零，只要有一个为零，代表该元素一定不在哈希表中，否则可能在哈希表中。
注意：布隆过滤器如果说某个元素不存在时，该元素一定不存在，如果该元素存在时，该元素可能存在，因为有些哈希函数存在一定的误判。

cpp 复制代码 
#include <string>
#include "Bitset.h"

struct HashFuncBKDR
{
	// 本算法由于在Brian Kernighan与Dennis Ritchie的《The CProgramming Language》
	// 一书被展示而得 名，是一种简单快捷的hash算法，也是Java目前采用的字符串的Hash算法累乘因子为31。
	size_t operator()(const std::string& s)
	{
		size_t hash = 0;
		for (auto ch : s)
		{
			hash *= 31;
			hash += ch;
		}
		return hash;
	}
};


struct HashFuncAP
{
	// 由Arash Partow发明的一种hash算法。  
	size_t operator()(const std::string& s)
	{
		size_t hash = 0;
		for (size_t i = 0; i < s.size(); i++)
		{
			if ((i & 1) == 0) // 偶数位字符
			{
				hash ^= ((hash << 7) ^ (s[i]) ^ (hash >> 3));
			}
			else              // 奇数位字符
			{
				hash ^= (~((hash << 11) ^ (s[i]) ^ (hash >> 5)));
			}
		}

		return hash;
	}
};

struct HashFuncDJB
{
	// 由Daniel J. Bernstein教授发明的一种hash算法。 
	size_t operator()(const std::string& s)
	{
		size_t hash = 5381;
		for (auto ch : s)
		{
			hash = hash * 33 ^ ch;
		}

		return hash;
	}
};

template<size_t N, size_t X = 5, class K = string, // X跟误判率有关
	class Hash1 = HashFuncBKDR, class Hash2 = HashFuncAP,
	class Hash3 = HashFuncDJB>
class Bloomfilter
{
public:
	void set(const K& key)
	{
		size_t hash1 = Hash1()(key) % M;
		size_t hash2 = Hash2()(key) % M;
		size_t hash3 = Hash3()(key) % M;

		_bf.set(hash1);
		_bf.set(hash2);
		_bf.set(hash3);
	}

	bool test(const K& key)
	{
		size_t hash1 = Hash1()(key) % M;
		size_t hash2 = Hash2()(key) % M;
		size_t hash3 = Hash3()(key) % M;

		if (_bf.test(hash1) == false)
			return false;
		else if (_bf.test(hash2) == false)
			return false;
		else if (_bf.test(hash3) == false)
			return false;
		else
			return true; // 可能存在误判
	}

	// 获取公式计算出的误判率
	double getFalseProbability()
	{
		double p = pow((1.0 - pow(2.71, -3.0 / X)), 3.0);

		return p;
	}
private:
	static const size_t M = N * X;
	my::Bitset<M> _bf;
};

测试代码：

cpp 复制代码 
void TestBloomFilter1()
{
	Bloomfilter<10> bf;
	bf.set("猪八戒");
	bf.set("孙悟空");
	bf.set("唐僧");

	cout << bf.test("猪八戒") << endl;
	cout << bf.test("孙悟空") << endl;
	cout << bf.test("唐僧") << endl;
	cout << bf.test("沙僧") << endl;
	cout << bf.test("猪八戒1") << endl;
	cout << bf.test("猪戒八") << endl;
}

2.4 布隆过滤器的删除

布隆过滤器不能直接支持删除工作，因为在删除一个元素时，可能会影响其他元素。

比如：删除上图中"hello"元素，如果直接将该元素所对应的二进制比特位置0，"world"元素也被删除了，因为这两个元素在多个哈希函数计算出的比特位上刚好有重叠.

一种支持删除的方法：将布隆过滤器中的每个比特位扩展成一个小的计数器，插入元素时给k个计数器(k个哈希函数计算出的哈希地址)加一，删除元素时，给k个计数器减一，通过多占用几倍存储空间的代价来增加删除操作。

缺陷：

  1. 无法确定元素是否真正在布隆过滤器中
  2. 存在计数回绕

2.5 布隆过滤器的优点

  1. 增加和查询元素的时间复杂度为:O(K), (K为哈希函数的个数，一般比较小)，与数据量大小无关
  2. 哈希函数相互之间没有关系，方便硬件并行运算
  3. 布隆过滤器不需要存储元素本身，在某些对保密要求比较严格的场合有很大优势
  4. 在能够承受一定的误判时，布隆过滤器比其他数据结构有这很大的空间优势
  5. 数据量很大时，布隆过滤器可以表示全集，其他数据结构不能
  6. 使用同一组散列函数的布隆过滤器可以进行交、并、差运算

2.6 布隆过滤器的缺点

  1. 有误判率，即存在假阳性(False Position)，即不能准确判断元素是否在集合中(补救方法：再建立一个白名单，存储可能会误判的数据)
  2. 不能获取元素本身
  3. 一般情况下不能从布隆过滤器中删除元素
  4. 如果采用计数方式删除，可能会存在计数回绕问题
相关推荐
现在，此刻1 小时前
leetcode 11. 盛最多水的容器 -java
java·算法·leetcode
一株月见草哇4 小时前
Matlab（4）
人工智能·算法·matlab
hans汉斯4 小时前
基于深度学习的苹果品质智能检测算法研究
人工智能·深度学习·算法
火车叨位去19494 小时前
力扣top100(day01-05)--矩阵
算法·leetcode·矩阵
mit6.8244 小时前
[Robotics_py] 机器人运动模型 | `update`函数 | 微积分&矩阵
人工智能·python·算法
地平线开发者5 小时前
征程 6 | 自定义查表算子实现量化部署
算法·自动驾驶
火车叨位去19497 小时前
力扣top100(day02-05)--二叉树 02
算法·leetcode·职场和发展
James. 常德 student7 小时前
leetcode-hot-100 (图论）
算法·leetcode·图论
郝学胜-神的一滴7 小时前
C++中的`auto`与`std::any`：功能、区别与选择建议
开发语言·c++·程序人生·算法
热门推荐
01UV安装并设置国内源022025最新国内服务器可用docker源仓库地址大全（2025年8月更新）03全球最强模型Grok4，国内已可免费使用！（附教程）04Qwen3-Coder 快速上手教程 | Qwen Code + Claude Code05TRAE Rules 实践：为项目配置 6A 工作流06KGG转MP3工具|非KGM文件|解密音频07GPT-5 使用限制与国内升级全攻略（免费 / Plus / Pro）【2025 最新】08Cursor 终端“卡死/无响应”问题的解法09[已解决]VSCode右键菜单消失恢复10OpenAI重返开源！GPT-OSS本地部署完全指南