STL--哈希

文章目录

• • [1. unordered系列关联式容器](#1. unordered系列关联式容器)
  • • unordered_map
    • unordered_map的接口说明
    • unordered_set
  • [2. 底层结构](#2. 底层结构)
  • • 哈希概念
    • 哈希冲突
    • 哈希函数
    • 哈希冲突解决
    • • 闭散列
      • 开散列
  • [3. set map模拟实现](#3. set map模拟实现)
  • • 哈希表的改造
    • unordered_map
    • unordered_set
  • [4. 哈希的应用](#4. 哈希的应用)
  • • 位图
    • • 位图的实现
      • 位图的应用
    • 布隆过滤器
    • • 布隆过滤器概念
      • 布隆过滤器的插入
      • 布隆过滤器的查找
      • 布隆过滤器删除
      • 布隆过滤器优点
      • 布隆过滤器缺陷

1. unordered系列关联式容器

在C++98中，STL提供了底层为红黑树结构的一系列关联式容器，在查询时效率可达到log_2N，即最差情况下需要比较红黑树的高度次，当树中的节点非常多时，查询效率也不理想。最好的查询是，进行很少的比较次数就能够将元素找到，因此在C++11中，STL又提供了4个unordered系列的关联式容器，这四个容器与红黑树结构的关联式容器使用方式基本类似，只是其底层结构不同，本文中只对unordered_map和unordered_set进行介绍。

unordered_map

unordered_map文档说明

1. unordered_map是存储<key, value>键值对的关联式容器，其允许通过keys快速的索引到与
   其对应的value。
2. 在unordered_map中，键值通常用于惟一地标识元素，而映射值是一个对象，其内容与此
   键关联。键和映射值的类型可能不同。
3. 在内部,unordered_map没有对<kye, value>按照任何特定的顺序排序, 为了能在常数范围内
   找到key所对应的value，unordered_map将相同哈希值的键值对放在相同的桶中。
4. unordered_map容器通过key访问单个元素要比map快，但它通常在遍历元素子集的范围迭
   代方面效率较低。
5. unordered_maps实现了直接访问操作符(operator[])，它允许使用key作为参数直接访问
   value。
6. 它的迭代器至少是前向迭代器。

unordered_map的接口说明

1. unordered_map的构造

函数声明	功能说明
unordered_map	构造不同格式的unordered_map对象

2. unordered_map的容量

函数声明	功能说明
bool empty() const	检测unordered_map是否为空
size_t size() const	获取unordered_map的有效元素个数

3. unordered_map的迭代器

函数声明	功能说明
begin	返回unordered_map第一个元素的迭代器
end	返回unordered_map最后一个元素下一个位置的迭代器
rbegin	返回unordered_map第一个元素的const迭代器
rend	返回unordered_map最后一个元素下一个位置的const迭代器

4. unordered_map的元素访问

函数声明	功能说明
operator[]	返回与key对应的value，没有一个默认值

注意：该函数中实际调用哈希桶的插入操作，用参数key与V()构造一个默认值往底层哈希桶

中插入，如果key不在哈希桶中，插入成功，返回V()，插入失败，说明key已经在哈希桶中，

将key对应的value返回。

5. unordered_map的查询

函数声明	功能说明
iterator find(const K& key)	返回key在哈希桶中的位置
size_t count(const K& key)	返回哈希桶中关键码为key的键值对的个数

注意：unordered_map中key是不能重复的，因此count函数的返回值最大为1。

6. unordered_map的修改操作

函数声明	功能介绍
insert	向容器中插入键值对
erase	删除容器中的键值对
void clear()	清空容器中的有效元素个数
void swap( unordered_map& )	交换两个容器中的元素

7. unordered_map的桶操作

函数声明	功能介绍
size_t bucket_count() const	返回哈希桶中桶的总个数
size_t bucket_size( size_t n) const	返回n号哈希桶中有效元素的个数
size_t bucket( const K& key)	返回key所在桶的桶号

unordered_set

unordered_set在线文档

unordered_set 与unordered_map类似，这里不做过多介绍，有问题，看文档。

2. 底层结构

unordered系列的关联式容器之所以效率比较高，是因为其底层使用了哈希结构。

哈希概念

顺序结构以及平衡树中，元素关键码与其存储位置之间没有对应的关系，因此在查找一个元素

时，必须要经过关键码的多次比较。顺序查找时间复杂度为O(N)，平衡树中为树的高度，即

O(log_2 N)，搜索的效率取决于搜索过程中元素的比较次数。

理想的搜索方法：可以不经过任何比较，一次直接从表中得到要搜索的元素。

如果构造一种存储结构，通过某种函数(hashFunc)使元素的存储位置与它的关键码之间能够建立

一一映射的关系，那么在查找时通过该函数可以很快找到该元素。

当向该结构中：

插入元素

根据待插入元素的关键码，以此函数计算出该元素的存储位置并按此位置进行存放。

搜索元素

对元素的关键码进行同样的计算，把求得的函数值当做元素的存储位置，在结构中按此位置

取元素比较，若关键码相等，则搜索成功。

该方式即为哈希(散列)方法，哈希方法中使用的转换函数称为哈希(散列)函数，构造出来的结构称

为哈希表(Hash Table)(或者称散列表)。

例如：数据集合{1，7，6，4，5，9}；

哈希函数设置为：hash(key) = key % capacity; capacity为存储元素底层空间总的大小。

用该方法进行搜索不必进行多次关键码的比较，因此搜索的速度比较快

问题：按照上述哈希方式，向集合中插入元素44，会出现什么问题？---哈希冲突

哈希冲突

不同关键字通过相同哈希哈数计算出相同的哈希地址，该种现象称为哈希冲突或哈希碰撞。

把具有不同关键码而具有相同哈希地址的数据元素称为"同义词"。

发生哈希冲突该如何处理呢？

哈希函数

引起哈希冲突的一个原因可能是：哈希函数设计不够合理。

哈希函数设计原则：

1. 哈希函数的定义域必须包括需要存储的全部关键码，而如果散列表允许有m个地址时，其值。
2. 域必须在0到m-1之间。
3. 哈希函数计算出来的地址能均匀分布在整个空间中。
4. 哈希函数应该比较简单。

常见哈希函数：

1. 直接定址法--(常用)

取关键字的某个线性函数为散列地址：Hash（Key）= A*Key + B

优点：简单、均匀

缺点：需要事先知道关键字的分布情况。

使用场景：适合查找比较小且连续的情况。

2. 除留余数法--(常用)

设散列表中允许的地址数为m，取一个不大于m，但最接近或者等于m的质数p作为除数，

按照哈希函数：Hash(key) = key% p(p<=m),将关键码转换成哈希地址。

3. 平方取中法--(了解)

假设关键字为1234，对它平方就是1522756，抽取中间的3位227作为哈希地址；

再比如关键字为4321，对它平方就是18671041，抽取中间的3位671(或710)作为哈希地址

平方取中法比较适合：不知道关键字的分布，而位数又不是很大的情况。

4. 折叠法--(了解)

折叠法是将关键字从左到右分割成位数相等的几部分(最后一部分位数可以短些)，然后将这

几部分叠加求和，并按散列表表长，取后几位作为散列地址。

折叠法适合事先不需要知道关键字的分布，适合关键字位数比较多的情况。

5. 随机数法--(了解)

选择一个随机函数，取关键字的随机函数值为它的哈希地址，即H(key) = random(key),其中

random为随机数函数。

通常应用于关键字长度不等时采用此法

6. 数学分析法--(了解)

设有n个d位数，每一位可能有r种不同的符号，这r种不同的符号在各位上出现的频率不一定

相同，可能在某些位上分布比较均匀，每种符号出现的机会均等，在某些位上分布不均匀只

有某几种符号经常出现。可根据散列表的大小，选择其中各种符号分布均匀的若干位作为散

列地址。例如：

假设要存储某家公司员工登记表，如果用手机号作为关键字，那么极有可能前7位都是 相同

的，那么我们可以选择后面的四位作为散列地址，如果这样的抽取工作还容易出现 冲突，还

可以对抽取出来的数字进行反转(如1234改成4321)、右环位移(如1234改成4123)、左环移

位、前两数与后两数叠加(如1234改成12+34=46)等方法。

数字分析法通常适合处理关键字位数比较大的情况，如果事先知道关键字的分布且关键字的

若干位分布较均匀的情况。

注意：哈希函数设计的越精妙，产生哈希冲突的可能性就越低，但是无法避免哈希冲突。

哈希冲突解决

解决哈希冲突两种常见的方法是：闭散列和开散列

闭散列

闭散列：也叫开放定址法，当发生哈希冲突时，如果哈希表未被装满，说明在哈希表中必然还有空位置，那么可以把key存放到冲突位置中的"下一个" 空位置中去。那如何寻找下一个空位置呢？

1. 线性探测

比如2.1中的场景，现在需要插入元素44，先通过哈希函数计算哈希地址，hashAddr为4，因此44理论上应该插在该位置，但是该位置已经放了值为4的元素，即发生哈希冲突。

线性探测：从发生冲突的位置开始，依次向后探测，直到寻找到下一个空位置为止。

插入

通过哈希函数获取待插入元素在哈希表中的位置如果该位置中没有元素则直接插入新元素，如果该位置中有元素发生哈希冲突，使用线性探测找到下一个空位置，插入新元素。

删除

采用闭散列处理哈希冲突时，不能随便物理删除哈希表中已有的元素，若直接删除元素会影响其他元素的搜索。比如删除元素4，如果直接删除掉，44查找起来可能会受影响。因此线性探测采用标记的伪删除法来删除一个元素。

// 哈希表每个空间给个标记
// EMPTY此位置空， EXIST此位置已经有元素， DELETE元素已经删除
enum State{EMPTY, EXIST, DELETE};

线性探测的实现

enum State {
	EMPTY,
	EXIST,
	DELETE
};
template<class K,class V>
struct HashNode
{
	pair<K, V> _data;
	State _state;

};
template<class K>
struct HashFunc {
	size_t operator()(const K& key)
	{
		return (size_t)key;
	}
};
class Hashstring {
public:
	size_t operator()(const string& s)
	{
		size_t hash = 0;
		for (auto e : s)
		{
			hash += e;
			hash *= 131;
		}
		return hash;
	}

};
template<class K,class V,class Hash = HashFunc<K>>
struct HashTable
{
public:
	HashTable(size_t size = 10)
	{
		_table.resize(size);
	}
	HashNode<K, V>* Find(const K& key)
	{
		//线性探测
		Hash hs;
		size_t hashi = hs(key) % _table.size();//在表中要插入的位置
		while (_table[hashi]._state != EMPTY)
		{
			if (_table[hashi]._data.first == key && _table[hashi]._state == EXIST)
			{
				return &_table[hashi];
			}
			++hashi;
			hashi %= _table.size();//从表尾处跳转表头，插入
		}
		return nullptr;
	}
	bool Insert(const pair<K, V> kv)
	{
		//扩容
		if (_size * 10 / _table.size() >= 7)
		{
			HashTable<K,V,Hash> newTable(_table.size() * 2);
			//遍历旧表，插入新表
			for (auto& e : _table)
			{
				if (e._state == EXIST)
				{
					newTable.Insert(e._data);
				}
			}
			_table.swap(newTable._table);
		}
		//线性探测
		Hash hs;
		size_t hashi = hs(kv.first) % _table.size();//在表中要插入的位置
		while (_table[hashi]._state == EXIST)
		{
			++hashi;
			hashi %= _table.size();//从表尾处跳转表头，插入
		}
		_table[hashi]._data = kv;
		_table[hashi]._state = EXIST;
		++_size;
		return true;
	}

	bool Erase(const K& key)
	{
		HashNode<K, V>* ret = Find(key);
		if (ret)
		{
			ret->_state = DELETE;
			return true;
		}
		else
		{
			return false;
		}
	}
private:
	vector<HashNode<K, V>> _table; //哈希表
	size_t _size = 0; //哈希表中有效元素的数量
};

思考：哈希表什么情况下进行扩容？如何扩容？

if (_size * 10 / _table.size() >= 7)
		{
			HashTable<K,V,Hash> newTable(_table.size() * 2);
			//遍历旧表，插入新表
			for (auto& e : _table)
			{
				if (e._state == EXIST)
				{
					newTable.Insert(e._data);
				}
			}
			_table.swap(newTable._table);
		}

线性探测优点：实现非常简单，

线性探测缺点：一旦发生哈希冲突，所有的冲突连在一起，容易产生数据"堆积"，即：不同

关键码占据了可利用的空位置，使得寻找某关键码的位置需要许多次比较，导致搜索效率降

低。如何缓解呢？

二次探测

线性探测的缺陷是产生冲突的数据堆积在一块，这与其找下一个空位置有关系，因为找空位置的方式就是挨着往后逐个去找，因此二次探测为了避免该问题，找下一个空位置的方法为：二次探测是防止聚集产生的一种尝试，思想是探测相隔较远的单元，而不是和原始位置相邻的单元。在线性探测中，如果哈希函数得到的原始下标是x,线性探测就是x+1,x+2,x+3...，以此类推，而在二次探测中，探测过程是x+1,x-1,x+4,x-4,x+9,x-9,x+16,x-16,x+25,x-25...,以此类推，到原始距离的步数平方。

对于2.1中如果要插入44，产生冲突，使用解决后的情况为：

研究表明：当表的长度为质数且表装载因子a不超过0.5时，新的表项一定能够插入，而且任何一个位置都不会被探查两次。因此只要表中有一半的空位置，就不会存在表满的问题。在搜索时可以不考虑表装满的情况，但在插入时必须确保表的装载因子a不超过0.5，如果超出必须考虑增容。

因此：闭散列最大的缺陷就是空间利用率比较低，这也是哈希的缺陷。

开散列

开散列概念

开散列法又叫链地址法(开链法)，首先对关键码集合用散列函数计算散列地址，具有相同地址的关键码归于同一子集合，每一个子集合称为一个桶，各个桶中的元素通过一个单链表链接起来，各链表的头结点存储在哈希表中。

从上图可以看出，开散列中每个桶中放的都是发生哈希冲突的元素。

开散列实现

template <class T> 
struct HashNode
{
	HashNode<T>* _next;
	T _kv;

	HashNode(const T& kv)
		:_next(nullptr)
		,_kv(kv)
	{}
};
// 前置声明
template<class K, class T, class keyoft, class Hash>
class HashTable;

template<class K, class T, class keyoft, class Hash>
struct __HTIteraotr {
	typedef HashNode<T> Node;
	typedef __HTIteraotr<K, T, keyoft, Hash> Self;
	typedef HashTable<K, T, keyoft, Hash> HT;
	Node* _node;
	HT* _ht;


	__HTIteraotr(Node* node, HT* ht)
		:_node(node)
		,_ht(ht)
	{}
	T& operator*()
	{
		return _node->_kv;
	}
	T* operator->()
	{
		return &_node->_kv;
	}
	Self& operator++()
	{
		if (_node->_next)
		{
			//当前桶还是结点
			_node = _node->_next;
		}
		else 
		{
			//当前桶走完了，找下一个桶
			keyoft kt;
			Hash hs;
			size_t hashi = hs(kt(_node->_kv)) % _ht->_table.size();
			//找下一个桶
			hashi++;
			while (hashi < _ht->_table.size())
			{
				if (_ht->_table[hashi])
				{
					_node = _ht->_table[hashi];
					break;
				}
				hashi++;
			}
			//后面没有桶了
			if (hashi == _ht->_table.size())
			{
				_node = nullptr;
			}
		}
		return *this;
	}
	bool operator!=(const Self& s)
	{
		return _node != s._node;
	}
	bool operator==(const Self& s)
	{
		return _node == s._node;
	}
};
template<class K, class T,class keyoft, class Hash>
class HashTable {

	typedef HashNode<T> Node;

	template<class K, class T, class keyoft, class Hash>
	friend struct __HTIteraotr;

public:
	typedef __HTIteraotr<K, T, keyoft, Hash> iterator;
	//迭代器
		 begin()
	{
		for (int i = 0; i < _table.size(); i++)
		{
			//找到第一个桶的第一个结点
			if (_table[i])
			{
				return iterator(_table[i], this);
			}
		}
		return end();
	}
	iterator end()
	{
		return iterator(nullptr, this);
	}
	//构造函数
	HashTable()
	{
		_table.resize(10, nullptr);
		_size = 0;
	}
	~HashTable()
	{
		for (int i = 0; i < _table.size(); i++)
		{
			Node* cur = _table[i];
			while (cur)
			{
				Node* next = cur->_next;
				delete cur;
				cur = next;
			}
			_table[i] = nullptr;
		}
	}
	//查找
	iterator Find(const K& key)
	{
		Hash hs;
		keyoft kt;
		size_t hashi = hs(key) % _table.size();//计算key桶号
		Node* cur = _table[hashi];//取头结点
		while (cur)
		{
			if (kt(cur->_kv) == key)
			{
				return iterator(cur,this);
			}
			cur = cur->_next;
		}
		return iterator(nullptr, this);
	}
	//插入
	pair<iterator,bool>  Insert(const T& kv)
	{
		Hash hs;
		keyoft kt;
		iterator it = Find(kt(kv));
		if (it != end())//寻找表中是否有kv元素
		{
			return make_pair(it,false);
		}
		//负载因子到1就扩容
		if (_size == _table.size())
		{
			vector<Node*> newTable(_table.size() * 2);
			for (int i = 0; i < _table.size(); i++)
			{
				//取出旧表中结点，重新计算挂到新表中
				Node* cur = _table[i];
				while (cur)
				{
					//记录下一个链表
					Node* next = cur->_next;
					//头插，插入新表中
					size_t hashi = hs(kt(cur->_kv)) % newTable.size();
					cur->_next = newTable[hashi];
					newTable[hashi] = cur;
				
					cur = next;
				}
				_table[i] = nullptr;//将旧表置空
			}
			_table.swap(newTable); 
		}

		size_t hashi = hs(kt(kv)) % _table.size();//计算key桶号
		Node* newnode = new Node(kv);
	
		//头插
		newnode->_next = _table[hashi];
		_table[hashi] = newnode;

		++_size;
		return make_pair(iterator(newnode,this), true);
	}
	//删除
	bool Erase(const T& key)
	{
		Hash hs;
		keyoft kt;
		size_t hashi = hs(kt(key)) % _table.size();//计算key桶号
		Node* cur = _table[hashi];//取桶的头结点
		Node* parent = nullptr;//记录上一个结点
		while (cur)
		{
			if (kt(cur->_kv) == kt(key))
			{
				if (parent)//当存在上一个结点，即不是头结点
				{
					parent->_next = cur->_next;
				}
				else //头结点删除
				{
					//头结点
					_table[hashi] = cur->_next;
				}
				delete cur;
				--_size;
				return true;
			}
			parent = cur;
			cur = cur->_next;
		}
		return false;
	}
private:
	vector<Node*> _table;  //指针数组
	size_t _size = 0;
};

3. set map模拟实现

哈希表的改造

1. 模版参数列表的改造

// K:关键码类型
// V: 不同容器V的类型不同，如果是unordered_map，V代表一个键值对，如果是
unordered_set,V 为 K
// keyoft: 因为V的类型不同，通过value取key的方式就不同，详细见
unordered_map/set的实现
// Hash: 哈希函数仿函数对象类型，哈希函数使用除留余数法，需要将Key转换为整形数字才能
取模
    template<class K, class T,class keyoft, class Hash>
class HashTable {
    

2. 增加迭代器操作

template<class K, class T, class keyoft, class Hash>
struct  HashItarator
{
	typedef HashNode<T> Node;
	typedef HashTable<K, T, keyoft, Hash> HT;
	typedef HashItarator<K, T, keyoft, Hash> Self;
	//构造函数
	HashItarator(Node* node,HT* ht)
		:_node(node)
		,_ht(ht)
	{}
	Node* _node;
	HT* _ht;
public:
	Self& operator++()
	{
		if (_node->_next)
		{
			_node = _node->_next;
		}
		else
		{
			keyoft kt;
			Hash hs;
			size_t index = hs(kt(_node->_kv)) % _ht->_table.size();
			index++;
			while (index < _ht->_table.size())
			{
				if (_ht->_table[index])
				{
					_node = _ht->_table[index];
					break;
				}
				index++;
			}
			if (index == _ht->_table.size())
			{
				_node = nullptr;
			}
		}
		return *this;


	}
	T& operator*()
	{
		return _node->_kv;
	}
	T* operator->()
	{
		return &_node->_kv;
	}
	bool operator!=(const Self& s)
	{
		return _node != s._node;
	}
	bool operator==(const Self& s)
	{
		return _node == s._node;
	}
};

3. 增加通过key获取value操作

struct map_keyoft
{
	const K& operator()(const pair<K, V>& key)
	{
		return key.first;
	}
};

struct set_keyoft
{
	const K& operator()(const K& key)
	{
		return key;
	}
};

unordered_map

#pragma once
namespace jz {
#include"HashTable.h"
	template<class K, class V, class Hash = HashFunc<K>>
	class unordered_map
	{
		struct map_keyoft
		{
			const K& operator()(const pair<K, V>& key)
			{
				return key.first;
			}
		};
	public:
		typedef typename HashTable<K, pair<K, V>, map_keyoft, Hash>::iterator iterator;
		iterator begin()
		{
			return u_map.begin();
		}
		iterator end()
		{
			return u_map.end();
		}
		bool insert(const pair<K, V>& kv)
		{
			return u_map.Insert(kv);
		}
	private:
		HashTable<K, pair<K, V>, map_keyoft, Hash> u_map;
	};
}

unordered_set

#pragma once
namespace jz {
#include"HashTable.h"
	template<class K, class Hash = HashFunc<K>>
	class unordered_set
	{
		struct set_keyoft
		{
			const K& operator()(const K& key)
			{
				return key;
			}
		};
	public:
		typedef typename HashTable<K, K, set_keyoft, Hash>::iterator iterator;
		iterator begin()
		{
			return u_set.begin();
		}
		iterator end()
		{
			return u_set.end();
		}
		bool insert(const K& key)
		{
			return u_set.Insert(key);
		}
	private:
		HashTable<K, K, set_keyoft, Hash> u_set;
	};
}

4. 哈希的应用

位图

位图概念

所谓位图，就是用每一位来存放某种状态，适用于海量数据，数据无重复的场景。通常是用

来判断某个数据存不存在的。

位图的实现

template<size_t N>
class bitset 
{
public:
	bitset(size_t bitcount)
		:_bits.resize((N >> 5) + 1)
		, _bitcount(bitcount)
	{}
	//把x映射的位标记为1
	void set(size_t x)
	{
		assert(x <= N);
		size_t i = x>>5;//判断x位是在哪个int的4个字节中
		size_t j = x % 32;//判断x位是int4个字节中第几个位
		_bits[i] |= (1 << j);//将改为置为1,
	}
	// 将pos比特位置0
	void reset(size_t pos)
	{
		assert(x <= N);
		size_t i = pos >> 5;//判断x位是在哪个int的4个字节中
		size_t j = pos % 32;//判断x位是int4个字节中第几个位
		_bits[i] &= ~(1 << j);
	}
	//检测位图中pos位置是否为1
	bool test(size_t pos)
	{
		assert(x <= N);
		size_t i = x >> 5;//判断x位是在哪个int的4个字节中
		size_t j = x % 32;//判断x位是int4个字节中第几个位
		return _bits[i] &= (1 << j);
	}
	size_t size()
	{
		return _bitcount;
	}
	size_t cout() const
	{
		int bitCnttable[256] = {
		0, 1, 1, 2, 1, 2, 2, 3, 1, 2, 2, 3, 2, 3, 3, 4, 1, 2, 2, 3, 2, 3, 3, 4, 2,
		3, 3, 4, 3, 4, 4, 5, 1, 2, 2, 3, 2, 3, 3, 4, 2, 3, 3, 4, 3, 4, 4, 5, 2, 3,
		3, 4, 3, 4, 4, 5, 3, 4, 4, 5, 4, 5, 5, 6, 1, 2, 2, 3, 2, 3, 3, 4, 2, 3, 3,
		4, 3, 4, 4, 5, 2, 3, 3, 4, 3, 4, 4, 5, 3, 4, 4, 5, 4, 5, 5, 6, 2, 3, 3, 4,
		3, 4, 4, 5, 3, 4, 4, 5, 4, 5, 5, 6, 3, 4, 4, 5, 4, 5, 5, 6, 4, 5, 5, 6, 5,
		6, 6, 7, 1, 2, 2, 3, 2, 3, 3, 4, 2, 3, 3, 4, 3, 4, 4, 5, 2, 3, 3, 4, 3, 4,
		4, 5, 3, 4, 4, 5, 4, 5, 5, 6, 2, 3, 3, 4, 3, 4, 4, 5, 3, 4, 4, 5, 4, 5, 5,
		6, 3, 4, 4, 5, 4, 5, 5, 6, 4, 5, 5, 6, 5, 6, 6, 7, 2, 3, 3, 4, 3, 4, 4, 5,
		3, 4, 4, 5, 4, 5, 5, 6, 3, 4, 4, 5, 4, 5, 5, 6, 4, 5, 5, 6, 5, 6, 6, 7, 3,
		4, 4, 5, 4, 5, 5, 6, 4, 5, 5, 6, 5, 6, 6, 7, 4, 5, 5, 6, 5, 6, 6, 7, 5, 6,
		6, 7, 6, 7, 7, 8 };
		int count = 0;
		for (int i = 0; i < _bits.size(); i++)
		{
			size_t val = _bits[i];
			int j = 0;
			while (j < sizeof(_bits[i]))
			{
				unsigned char c = val;
				count += bitCnttable[c];
				j++;
				val >>= 8;
			}
		}
		return count;
	}

private:
	vector<int> _bits;
	size_t _bitcount;
};

位图的应用

1. 快速查找某个数据是否在一个集合中
2. 排序 + 去重
3. 求两个集合的交集、并集等
4. 操作系统中磁盘块标记

布隆过滤器

布隆过滤器概念

布隆过滤器是由布隆（Burton Howard Bloom）在1970年提出的 一种紧凑型的、比较巧妙的概

率型数据结构，特点是高效地插入和查询，可以用来告诉你 "某样东西一定不存在或者可能存

在"，它是用多个哈希函数，将一个数据映射到位图结构中。此种方式不仅可以提升查询效率，也

可以节省大量的内存空间。

布隆过滤器的插入

向布隆过滤器中插入："baidu"

布隆过滤器的实现：

#pragma once
#include<string>
#include<bitset>
struct HashFuncBKDR
{
	size_t operator()(const std::string& s)
	{
		size_t hashi = 0;
		for (auto e : s)
		{
			hashi *= 131;
			hashi += e;
		}
		return hashi;
	}
};
struct HashFuncAP 
{
	size_t operator()(const string& s)
	{
		size_t hashi = 0;
		for (size_t i = 0; i < s.size(); i++)
		{
			if ((i & 1) == 0)
			{
				hashi ^= (hashi << 7) ^ (s[i] ^ (hashi >> 3));
			}
			else
			{
				hashi ^= (~(hashi << 11) ^ (s[i]) ^ (hashi >> 5));
			}
		}
		return hashi;
	}
};
struct HashFuncDJB
{
	size_t operator()(const string& s)
	{
		size_t hash = 5381;
		for (auto e : s)
		{
			hash = hash * 33 ^ e;
		}
		return hash;
	}
};

template<size_t N,class K = string,class Hash1 = HashFuncBKDR,class Hash2 = HashFuncAP,class Hash3 = HashFuncDJB>
class BloomFilter
{
public:
	void set(const K& key)
	{
		size_t hash1 = Hash1()(key) % M;
		size_t hash2 = Hash2()(key) % M;
		size_t hash3 = Hash3()(key) % M;
		_bs->set(hash1);
		_bs->set(hash2);
		_bs->set(hash3);
	}
	bool Test(const K& key)//判断key是否存在
	{
		size_t hash1 = Hash1()(key) % M;
		if (_bs->test(hash1) == false)
		{
			return false;
		}
		size_t hash2 = Hash2()(key) % M;
		if (_bs->test(hash2) == false)
		{
			return false;
		}
		size_t hash3 = Hash3()(key) % M;
		if (_bs->test(hash3) == false)
		{
			return false;
		}
		return true;//存在误判（可能三个位置都是和别人冲突的，所以误判）
	}
private:
	static const size_t M = 10 * N;
	std::bitset<M>* _bs = new std::bitset<M>;
};

布隆过滤器的查找

布隆过滤器的思想是将一个元素用多个哈希函数映射到一个位图中，因此被映射到的位置的比特位一定为1。所以可以按照以下方式进行查找：分别计算每个哈希值对应的比特位置存储的是否为零，只要有一个为零，代表该元素一定不在哈希表中，否则可能在哈希表中。注意：布隆过滤器如果说某个元素不存在时，该元素一定不存在，如果该元素存在时，该元素可能存在，因为有些哈希函数存在一定的误判。

比如：在布隆过滤器中查找"alibaba"时，假设3个哈希函数计算的哈希值为：1、3、7，刚好和其

他元素的比特位重叠，此时布隆过滤器告诉该元素存在，但实该元素是不存在的。

布隆过滤器删除

布隆过滤器不能直接支持删除工作，因为在删除一个元素时，可能会影响其他元素。比如：删除上中"tencent"元素，如果直接将该元素所对应的二进制比特位置0，"baidu"元素也被删除了，因为这两个元素在多个哈希函数计算出的比特位上刚好有重叠。

一种支持删除的方法：将布隆过滤器中的每个比特位扩展成一个小的计数器，插入元素时给k个计数器(k个哈希函数计算出的哈希地址)加一，删除元素时，给k个计数器减一，通过多占用几倍存储空间的代价来增加删除操作。

缺陷：

1. 无法确认元素是否真正在布隆过滤器中(某元素映射的几个位置，都与其他元素冲突故无法判断元素是否存在）
2. 存在计数回绕

布隆过滤器优点

1. 增加和查询元素的时间复杂度为:O(K), (K为哈希函数的个数，一般比较小)，与数据量大小无关

2. 哈希函数相互之间没有关系，方便硬件并行运算

3. 布隆过滤器不需要存储元素本身，在某些对保密要求比较严格的场合有很大优势

4. 在能够承受一定的误判时，布隆过滤器比其他数据结构有这很大的空间优势

5. 数据量很大时，布隆过滤器可以表示全集，其他数据结构不能

6. 使用同一组散列函数的布隆过滤器可以进行交、并、差运算

布隆过滤器缺陷

1. 有误判率，即存在假阳性(False Position)，即不能准确判断元素是否在集合中(补救方法：再

建立一个白名单，存储可能会误判的数据)

2. 不能获取元素本身

3. 一般情况下不能从布隆过滤器中删除元素

4. 如果采用计数方式删除，可能会存在计数回绕问题

全文完（有问题，欢迎留言！）