【数据结构】unordered 系列容器底层结构和封装

[unordered 系列容器与 map、set 的区别](#unordered 系列容器与 map、set 的区别)

底层结构

1、哈希概念

2、哈希冲突

3、哈希函数

4、哈希冲突解决

[4.1 闭散列（开放定址法）](#4.1 闭散列（开放定址法）)

[4.1.1. 线性探测](#4.1.1. 线性探测)

[4.2 开散列（哈希桶）](#4.2 开散列（哈希桶）)

[封装 unordered_map，unordered_set](#封装 unordered_map，unordered_set)

1、改造哈希表

2、添加迭代器

unordered 系列容器与 map、set 的区别

特性	`unordered_set` / `unordered_map` (哈希表)	`set` / `map` (红黑树)
底层数据结构	哈希表	红黑树（一种平衡二叉搜索树）
时间复杂度	平均 O(1)，最坏 O(n)	稳定 O(log n)
元素顺序	无序（基于哈希值）	有序（基于键值比较，默认升序）
迭代器有效性	插入操作可能导致迭代器失效（ rehash ）	除被删除元素外，迭代器基本保持有效
迭代器类型	前向迭代器（只能 `++it`）	双向迭代器（可以 `++it` 和 `--it`）
需要提供的功能	1. 键的哈希函数 2. 键的相等性判断	键的比较函数（通常为 `<` 运算符）
内存占用	通常更高（因为有桶数组和链表/数组开销）	通常更低（每个节点有左右孩子指针和颜色位）
最坏情况性能	所有元素哈希到同一个桶，退化为链表 O(n)	始终保持 O(log n)，非常稳定
适用场景	需要快速查找、插入、删除，且不关心顺序	需要元素有序，或需要范围查询

底层结构

1、哈希概念

顺序结构以及平衡树中，元素关键码与其存储位置之间没有对应的关系，因此在查找一个元素

时，必须要经过关键码的多次比较。顺序查找时间复杂度为O(N)，平衡树中为树的高度，搜索的效率取决于搜索过程中元素的比较次数。

理想的搜索方法：可以不经过任何比较，一次直接从表中得到要搜索的元素 。
如果构造一种存储结构，通过某种函数使元素的存储位置与它的关键码之间能够建立一一映射的关系，那么在查找时通过该函数可以很快找到该元素。

当向该结构中：

插入元素

根据待插入元素的关键码，通过某种函数计算出该元素的存储位置进行存放

搜索元素

对元素的关键码进行同样的计算，把求得的函数值当做元素的存储位置，在结构中按此位置

取元素比较，若关键码相等，则搜索成功

该方式即为哈希(散列)方法 ，哈希方法中使用的转换函数称为哈希(散列)函数 ，构造出来的结构称

为哈希表(Hash Table)(或者称散列表)

例如：数据集合{1，7，6，4，5，9}；

哈希函数设置为：hash(key) = key % capacity; capacity 为存储元素底层空间总的大小。

用该方法进行搜索不必进行多次关键码的比较，因此搜索的速度比较快

问题：按照上述哈希方式，向集合中插入元素44，会出现什么问题？

2、哈希冲突

不同关键字通过相同哈希函数计算出相同哈希地址，该现象称为哈希冲突 或哈希碰撞。

把具有不同关键码而具有相同哈希地址的数据元素称为"同义词"。

发生哈希冲突该如何处理呢？

3、哈希函数

引起哈希冲突的一个原因可能是：哈希函数设计不够合理。

哈希函数设计原则：

哈希函数的定义域 必须包括需要存储的全部关键码，而如果散列表允许有m个地址时，其值域必须是 [ 0 , m - 1 ]

哈希函数计算出来的地址能均匀分布在整个空间中

哈希函数应该比较简单

常见哈希函数

直接定址法--(常用)

取关键字的某个线性函数为散列地址：Hash（Key）= A * Key + B

优点：简单、均匀

缺点：需要事先知道关键字的分布情况

使用场景：适合查找比较小且连续的情况

除留余数法--(常用)

设散列表中允许的地址数为m，取一个不大于m，但最接近或者等于m的质数p作为除数，

按照哈希函数：Hash(key) = key % p (p<=m), 将关键码转换成哈希地址

其他哈希函数

3. 平方取中法--(了解)

假设关键字为1234，对它平方就是1522756，抽取中间的3位227作为哈希地址；

再比如关键字为4321，对它平方就是18671041，抽取中间的3位671(或710)作为哈希地址

平方取中法比较适合：不知道关键字的分布，而位数又不是很大的情况
4. 折叠法--(了解)

折叠法是将关键字从左到右分割成位数相等的几部分(最后一部分位数可以短些)，然后将这

几部分叠加求和，并按散列表表长，取后几位作为散列地址。

折叠法适合事先不需要知道关键字的分布，适合关键字位数比较多的情况
5. 随机数法--(了解)

选择一个随机函数，取关键字的随机函数值为它的哈希地址，即H(key) = random(key),其中

random为随机数函数。

通常应用于关键字长度不等时采用此法
6. 数学分析法--(了解)

设有n个d位数，每一位可能有r种不同的符号，这r种不同的符号在各位上出现的频率不一定

相同，可能在某些位上分布比较均匀，每种符号出现的机会均等，在某些位上分布不均匀只

有某几种符号经常出现。可根据散列表的大小，选择其中各种符号分布均匀的若干位作为散

列地址。例如：

假设要存储某家公司员工登记表，如果用手机号作为关键字，那么极有可能前7位都是相同

的，那么我们可以选择后面的四位作为散列地址，如果这样的抽取工作还容易出现冲突，还

可以对抽取出来的数字进行反转(如1234改成4321)、右环位移(如1234改成4123)、左环移

位、前两数与后两数叠加(如1234改成12+34=46)等方法。

数字分析法通常适合处理关键字位数比较大的情况，如果事先知道关键字的分布且关键字的

若干位分布较均匀的情况

注意：哈希函数设计的越精妙，产生哈希冲突的可能性就越低，但是无法避免哈希冲突

4、哈希冲突解决

解决哈希冲突两种常见的方法是：闭散列 和开散列

4.1 闭散列（开放定址法）

闭散列：也叫开放定址法，当发生哈希冲突时，如果哈希表未被装满，可以把key存放到距离冲突位置最近的 "下一个" 空位置中去。那如何寻找下一个空位置呢？由于内存每个地址都一定会存储值，可能是随机值，也可能是我们存储的值，还可能是所谓"空位置"，我们该如何分辨呢？哈希函数如果采用除留余数法，除数该如何选择？如果选择 capasity，对于 vector 来说可能会发生越界访问问题（vector 只允许访问 size 以内的数据），如果选择 size，size 会经常变化，对查找元素也会有影响，如何解决？

4.1.1. 线性探测

为了解决分辨是空位置还是有效值的问题，我们给哈希表每个元素做一个标记：
cpp 复制代码
// 哈希表每个空间给个标记
// EMPTY此位置空， EXIST此位置已经有元素， DELETE元素已经删除
enum State{EMPTY, EXIST, DELETE};
插入

1、通过哈希函数获取待插入元素在哈希表中的位置，哈希函数的除数是 size。

2、如果该位置状态为 EMPTY 或 DELETE 则直接插入新元素并返回 true，如果该位置状态为 EXIST，并且如果该位置的元素与待插入元素相同则返回 false，如果不相同，找到下一个状态为 EMPTY 或 DELETE 的位置，插入新元素，并把该位置的状态设置为 EXIST，返回 true。探测过程中，如果遇到状态为 EXIST 或 DELETE ，则继续探测，如果已经越界，则从存储位置的开始处继续探测。

扩容

散列表的载荷因子 定义为: α = 填入表中的元素个数 / 散列表的长度

α是散列表装满程度的标志因子。由于表长是定值,α与"填入表中的元素个数"成正比,所以,α越大,表明填入表中的元素越多,产生冲突的可能性就越大,但是空间利用率越高;反之,α越小,标明填入表中的元素越少,产生冲突的可能性就越小,空间利用率越小。实际上,散列表的平均查找长度是载荷因子α的函数,只是不同处理冲突的方法有不同的函数。

对于开放定址法,荷载因子是特别重要因素,应严格限制在0.7-0.8以下。超过0.8,查表时的CPU缓存不命中(cache missing)按照指数曲线上升。

总结：哈希表不能满了再扩容，而是负载因子到一定范围就扩容

如果负载因子太小时就扩容，会浪费很多空间，如果很大时才扩容，插入的效率会下降，而哈希表以效率高为目标，所以会浪费一定空间，负载因子一般在 0.7 到 0.8 时就扩容
cpp 复制代码
// if ((double)_n / (double)_table.size() >= 0.7) // 扩容
// if (_n * 10 / _table.size() >= 7) // 扩容
扩容并不是单纯把空间变成原来的 2 倍就完事了，因为空间的 size 发生变化，有些元素的映射关系发生变化（原来冲突的，现在不一定冲突，原来不冲突的，现在可能冲突），需要重新映射。重新映射时不是映射到原数组，而是映射到一个大小为原来 2 倍的新数组。

查找

先用哈希函数算出待查找的元素的下标，只要当前位置的状态不为 EMPTY，就进入循环：先检查当前位置的状态是否为 EXIST 以及当前位置的值是否为待查找元素，如果不是，就检查下一个；如果是，返回元素的 pair 的地址。查找过程如果已经越界，就从第一个位置开始查找。如果退出了循环，说明元素不存在，返回 nullptr。

删除

复用上面查找的逻辑，找到要删除的元素，如果没找到，返回 false，如果找到了，把它的状态设置为 DELETE，元素个数减 1，然后返回 true。

如何解决 key-value 的 key 不能修改，而 value 不能修改的问题

上面的逻辑中，哈希表的元素 key-value 都是非 const 的，查找函数返回元素的地址后，外界可以随意修改，破坏哈希表的映射关系。如果在定义 key-value 时将 key 定义为 const ，那么就无法插入元素了。所以应该将 Find 函数的返回值的 key-value 的 key 定义为 const。

如何解决 key 不是可以取模的数据类型的问题

比如说 key 是 string 类型，自然不能取模。解决方法是将 string 与一个整型建立映射关系，然后这个整型再与存储位置建立映射关系，这就叫"二次映射"。定义哈希表时再增加一个模板参数，这个模板参数是一个仿函数，该仿函数的作用是将 key 转换为可以取模的数据类型，在调用哈希函数的地方都使用该仿函数转化一下。对于常见的类型，比如 int、string，stl 都有对应的转换函数，在使用时不需要自己定义。

各种字符串哈希函数

模拟实现

cpp 复制代码

#pragma once
#include<vector>

enum STATE
{
	EXIST,
	EMPTY,
	DELETE
};

template<class K, class V>
struct HashData
{
	pair<K, V> _kv;
	STATE _state = EMPTY;
};

// 默认的 key 转换函数，解决了负数不能做 key 的问题
template<class K>
struct DefaultHashFunc
{
	size_t operator()(const K& key)
	{
		return (size_t)key;
	}
};

// 容易冲突
//struct StringHashFunc
//{
//	size_t operator()(const string& str)
//	{
//		return str[0];
//	}
//};

// 模板的特化，stl 的 unordered_map<string,string> 在使用时
// 不需要 key 转换函数的原因
// 数学大佬做的转换函数，至于为什么每次乘 131 而不是其他数字，不必深究
// 目前最优
template<>
struct DefaultHashFunc<string>
{
	size_t operator()(const string& str)
	{
		// BKDR
		size_t hash = 0;
		for (auto ch : str)
		{
			hash *= 131;
			hash += ch;
		}

		return hash;
	}
};

template<class K,class V, class HashFunc = DefaultHashFunc<K>>
class HashTable
{
public:
	HashTable()
	{
		_table.resize(10);
	}

	bool Insert(const pair<K, V>& kv)
	{
		// 扩容
		//if ((double)_n / (double)_table.size() >= 0.7)
		if (_n*10 / _table.size() >= 7)
		{
			size_t newSize = _table.size() * 2;
			// 遍历旧表，重新映射到新表
			HashTable<K, V, HashFunc> newHT;
			newHT._table.resize(newSize);

			// 遍历旧表的数据插入到新表即可
			for (size_t i = 0; i < _table.size(); i++)
			{
				if (_table[i]._state == EXIST)
				{
					newHT.Insert(_table[i]._kv);
				}
			}

			_table.swap(newHT._table);
		}

		// 线性探测
		HashFunc hf;
		size_t hashi = hf(kv.first) % _table.size();
		while (_table[hashi]._state == EXIST)
		{
			++hashi;
			hashi %= _table.size();
		}

		_table[hashi]._kv = kv;
		_table[hashi]._state = EXIST;
		++_n;

		return true;
	}

	HashData<const K, V>* Find(const K& key)
	{
		// 线性探测
		HashFunc hf;
		size_t hashi = hf(key) % _table.size();
		while (_table[hashi]._state != EMPTY)
		{
			if (_table[hashi]._state == EXIST 
				&& _table[hashi]._kv.first == key)
			{
				return (HashData<const K, V>*)&_table[hashi];
			}

			++hashi;
			hashi %= _table.size();
		}

		return nullptr;
	}

	// 按需编译
	bool Erase(const K& key)
	{
		HashData<const K, V>* ret = Find(key);
		if (ret)
		{
			ret->_state = DELETE;
			--_n;

			return true;
		}

		return false;
	}

private:
	vector<HashData<K, V>> _table;
	size_t _n = 0; // 存储有效数据的个数
};

线性探测优点 ：实现非常简单
线性探测缺点 ：一旦发生哈希冲突，如果所有的冲突连在一起，容易产生数据"堆积"，即：若干不同关键码的 hashi 相同，导致该 hashi 以及与该 hashi 位置相近的位置的查找和搜索效率降低。（可以采用二次探测的方法缓解：即发生哈希冲突时，往后不再逐个寻找空位置，而是采用每次往后 1、2^2、3^2.....方式寻找，可以把"堆积"的数据变得分散。

4.2 开散列（哈希桶）

开散列法又叫链地址法、开链法、哈希桶，首先对关键码集合用哈希函数计算哈希地址，具有相同地址的关键码归于同一子集合，每一个子集合称为一个哈希桶，各个桶中的元素通过一个单链表链接起来，各链表的头结点存储在哈希表中。

模拟实现：

cpp 复制代码

// 如果与闭散列写在同一个头文件，防止命名冲突
// key 的转换函数可以是全局函数
namespace hash_bucket
{
	template<class K, class V>
	struct HashNode
	{
		pair<K, V> _kv;
		HashNode<K, V>* _next;

		HashNode(const pair<K, V>& kv)
			:_kv(kv)
			,_next(nullptr)
		{}
	};

	template<class K, class V, class HashFunc = DefaultHashFunc<K>>
	class HashTable
	{
		typedef HashNode<K, V> Node;
	public:
		HashTable()
		{
			_table.resize(10, nullptr);
		}

        // 闭散列不需要写析构函数，而开散列需要是因为
        // 开散列 vector 的每个元素类型是指针类型，指针类型是内置类型
        // 没有析构函数，导致桶的结点没有被释放
        // 需要我们手动释放每个结点
		~HashTable()
		{
			for (size_t i = 0; i < _table.size(); i++)
			{
				Node* cur = _table[i];
				while (cur)
				{
					Node* next = cur->_next;
					delete cur;
					cur = next;
				}

				_table[i] = nullptr;
			}
		}

		bool Insert(const pair<K, V>& kv)
		{
            // 不允许插入相同元素
			if(Find(kv.first))
			{
				return false;
			}

			HashFunc hf;
            
            // 如果一直不扩容，某些桶的元素过多，降低查找效率
			// 负载因子到1就扩容（与开散列不同，开散列需要权衡
            // 冲突概率与空间利用率
            // 平均下来每个桶一个数据时就扩容，某个桶存储了大部分
            // 数据的概率很小，并且扩容重新映射时同一个桶的数据可能
            // 去了不同的桶

			if (_n == _table.size())
			{
				
				size_t newSize = _table.size()*2;
				vector<Node*> newTable;
				newTable.resize(newSize, nullptr);
                
                // 不能复用 insert,因为会开新结点，我们期望的是
                // 把 _table 的结点直接挂到 newtable
				// 遍历旧表，顺手牵羊，把节点牵下来挂到新表
				for (size_t i = 0; i < _table.size(); i++)
				{
					Node* cur = _table[i];
					while (cur)
					{
						Node* next = cur->_next;

						// 头插到新表
						size_t hashi = hf(cur->_kv.first) % newSize;
						cur->_next = newTable[hashi];
						newTable[hashi] = cur;

						cur = next;
					}

					_table[i] = nullptr;
				}

				_table.swap(newTable);
			}

			size_t hashi = hf(kv.first) % _table.size();
			
            // 头插效率更高
			Node* newnode = new Node(kv);
			newnode->_next = _table[hashi];
			_table[hashi] = newnode;
			++_n;
			return true;
		}

		Node* Find(const K& key)
		{
			HashFunc hf;
			size_t hashi = hf(key) % _table.size();
			Node* cur = _table[hashi];
			while (cur)
			{
				if (cur->_kv.first == key)
				{
					return cur;
				}

				cur = cur->_next;
			}

			return nullptr;
		}

		bool Erase(const K& key)
		{
			HashFunc hf;
			size_t hashi = hf(key) % _table.size();
			Node* prev = nullptr;
			Node* cur = _table[hashi];
			while (cur)
			{
				if (cur->_kv.first == key)
				{
					if (prev == nullptr) // 头删，prev 为空
					{
						_table[hashi] = cur->_next;
					}
					else
					{
						prev->_next = cur->_next;
					}

					delete cur;	
					return true;
				}

				prev = cur;
				cur = cur->_next;
			}

			return false;
		}

		void Print()
		{
			for (size_t i = 0; i < _table.size(); i++)
			{
				printf("[%d]->", i);
				Node* cur = _table[i];
				while (cur)
				{
					cout << cur->_kv.first <<":"<< cur->_kv.second<< "->";
					cur = cur->_next;
				}
				printf("NULL\n");
			}
			cout << endl;
		}

	private:
		vector<Node*> _table; // 指针数组
        // vector<list> _table; 也行，但 list 空间开销更大，哈希表的迭代器不好实现
		size_t _n = 0; // 存储了多少个有效数据
	};
}

封装 unordered_map，unordered_set

如果要模拟实现 unordered_map，unordered_set，一定不要把所有代码写完了再测试，要一步一步的来：

1、实现哈希表（采用 key_vlaue 结构）

2、封装 map 和 set （把 key_vlaue 的 vlaue 改为 T，添加 KeyOfT）

3、添加普通迭代器（主要是 operator++）

4、添加 const 迭代器

5、改造 insert 返回值（准备实现 map 的 operator [ ]）

6、解决 key 不能修改的问题

1、改造哈希表

要使上面的哈希表同时支持 unordered_set 和 unordered_map 的 key-value 结构，就要对哈希表的模板参数进行改造，具体改造与 set 和 map 的改造相同。

map 和 set 的模拟实现

下面是改造过程中与 map 和 set 不同的地方：

2、添加迭代器

unordered_map 和 unordered_set 的迭代器都是封装一个指向结点的指针。关键在于迭代器的 operator++，当走完一个桶时，怎么指向下一个桶。

解决方法是：在迭代器内在封装一个指向整个哈希表的指针，用来获取所有哈希桶的头结点指针，当一个桶走完了，通过哈希函数获取当前迭代器在哪个桶(hashi），再通过哈希表指针获取下一个不为空的哈希桶的头结点指针，赋值给迭代器指向结点的指针。如果通过哈希表指针获取下一个不为空的哈希桶的头结点指针时走到哈希表的末尾了，说明已经遍历完了，迭代器指向结点的指针赋值为空。
又出现了一个问题：在哈希表类中内嵌了哈希表迭代器类型，在哈希表迭代器类中定义了哈希表指针类型。这时不管是哈希表类的声明在前还是哈希表迭代器类的声明在前都有问题，这种问题称为相互依赖

使用前置声明解决相互依赖问题：
cpp 复制代码
    // 前置声明,告诉编译器 HashTable 在后面定义
    template<class K, class T, class KeyOfT, class HashFunc>
	class HashTable;

	template<class K, class T, class KeyOfT, class HashFunc>
	struct HTIterator
	{
        //...
        HashTable<K, T, KeyOfT, HashFunc>* _pht;
        // 有了前置声明，编译器只会检查模板参数是否正确
        //...
    }

    template<class K, class T, class KeyOfT, class HashFunc = DefaultHashFunc<K>>
	class HashTable
	{
        //..
    }

在迭代器类中，要通过哈希函数获取当前迭代器在哪个桶，就要访问哈希函数的 vector 的 size，而哈希函数的 vector 是私有的，无法在迭代器类中访问，怎么办呢？

可以通过友元解决该问题：把迭代器类设置为哈希表类的友元。
cpp 复制代码
class HashTable
{
    // ...
	// 友元声明
	template<class K, class T, class KeyOfT, class HashFunc>
	friend struct HTIterator;
    // ...
}

由于在迭代器中需要用到哈希表的指针，所以迭代器的构造函数要传递哈希表指针初始化，而哈希表的 const begin() 方法传递的是 const * 类型的哈希表指针，产生了权限被放大的问题。

解决方法是：把迭代器的构造函数的哈希表指针形参设置为 const ，并且迭代器类的哈希表指针成员也设置为 const，因为迭代器在遍历时不会修改哈希表的值，所以这么做没问题。