C++起始之路——哈希表的实现

💁‍♂️个人主页：进击的荆棘

👇作者其它专栏：

《数据结构与算法》《算法》《C++起始之路》

---

目录

1.哈希概念

---

1.哈希概念

哈希又称散列，是一种组织数据的方式。从译名来看，有散乱排列的意思。本质就是通过哈希函数把关键字Key跟存储位置建立一个哈希映射关系，查找时通过这个哈希函数计算出Key存储的位置，进行快速查找。

1.1直接定址法

当关键字的范围比较集中时，直接定址法就是非常简单高效的方法，如一组关键字都在[0,99]之间，那么我们开一个100个数的数组，每个关键字的值直接就是存储位置的下标。再比如一组关键字值都在[a,z]的小写字母，那么我们开一个26个数的数组，每个关键字ascii码-'a'就是存储位置的下标，也就是说直接定址法本质就是用关键字计算出一个绝对位置或者相对位置。

字符串中的第一个唯一字符

class Solution {
public:
    int firstUniqChar(string s) {
        //桶思想
        vector<int> cnt(26,0);
        //统计次数
        for(auto i:s) cnt[i-'a']++;
        for(size_t i=0;i<s.size();i++) if(cnt[s[i]-'a']==1) return i;
        return -1;
    }
};

1.2哈希冲突

直接定址法的缺点也非常明显，当关键字的范围比较分散时，就很浪费内存甚至内存不够用。假设只有数据范围是[0,9999]的N个值，要映射到一个M个空间的数组中（一般情况下M>=N），那么就要借助哈希函数（hash function）hf，关键字key被放在数组的h（key）位置，要注意的是h（key）计算出的值必须在[0,M)之间。

这里存在的一个问题就是，两个不同的key可能会映射到同一个位置，这种问题叫哈希冲突，或哈希碰撞。理想情况是找出一个好的哈希函数避免冲突，但是实际场景中，冲突是不可避免的，所以尽可能设计出优秀的哈希函数，减少冲突的次数，同时也要去设计出解决冲突的方案。

1.3负载因子

假设哈希表中已经映射存储了N个值，哈希表的大小为M，那么负载因子=N/M，负载因子有些地方也翻译为荷载因子/装载因子，英文为load factor。负载因子越大，哈希冲突的概率越高，空间利用率越高；负载因子越小，哈希冲突的概率越低，空间利用率越低。

1.4将关键字转成整数

将关键字映射到数组中位置，一般是整数好做映射计算，若不是整数，要想办法转换成整数。

1.5哈希函数

一个好的哈希函数应该让N个关键字被等概率的均匀的散列分布到哈希表的M个空间中，但是实际中却很难做到，但是要尽量往这个方向去考量设计。

1.5.1除法散列法/除留余数法

●除法散列法也叫除留余数法，顾名思义，假设哈希表的大小为M，那么通过key除以M的余数作为映射位置的下标，也就是哈希函数为：h（key）=key%M。

●当使用除法散列法时，要尽量避免M为某些值，如2的幂，10的幂等。若是2^x，那么key%2^x本质相当于保留key的后x位，那么后x位相同的值，计算出的哈希值都是一样的，就冲突了。如{63，31}看起来没有关联的值，若M是16，也就是2^4，那么计算出的哈希值都是15，因为63的二进制后8位是00111111，31的二进制后8位是00111111。若是10^x，就更明显了，保留的都是10进制的后x位，如：{112,12312}，若M是100，也就是10^2，那么计算出的哈希值都是12。

●当使用除法散列法时，建议M取不太接近2的整数次幂的一个质数（素数）。

●需要说明的是，Java的HashMap采用除法散列法时就是2的整数次幂做哈希表的大小M，这样的话，就不用取模，而可以直接位运算，相对而言位运算比模更高效一些。但它不是单纯的去取模，比如M是2^16次方，本质是取后16位，那么用key`=key>>16，然后把key和key`异或的结果作为哈希值。也就是说我们映射出的值还是在[0,M)范围内，但是尽量让key所有的位都参与计算，这样映射出的哈希值更均匀一些。所以建议M取不太接近2的整数次幂的一个质数的理论是大多数数据结构书籍中写的理论，但实践中需灵活运用。

1.5.2乘法散列法（了解）

●乘法散列法对哈希表大小M没有要求，它的大思路第一步：用关键字K乘上常数A（0<A<1)，并抽出K*A的小数部分。第二步：后再用M乘以K*A的小数部分，在向下取整。

●h（key）=floor（Mx（（Axkey）%1.0）），其中floor表示对表达式进行向下取整，A∈（0，1），这里最重要的是A的值应该如何设定，Knuth认为A=（√5-1）/2=0.6180339887......（黄金分割点）比较好。

●乘法散列法对哈希表大小M是没有要求的，假设M位1024，key为1234，A=0.6180339887，A*key=762.6539420558，取小数部分为0.6539420558，Mx（（Axkey）%1.0）=0.6539420558*1024=669.6366651392，那么h（1234）=669。

1.5.3全域散列法（了解）

●若存在一个恶意的对手，他针对我们提供的散列函数，特意构造出一个发生严重冲突的数据集，比如，让所有关键字全部落入同一个位置中。这种情况是可以存在的，只要散列函数是公开且确定的，就可以实现此攻击。解决方法就是给散列函数增加随机性，攻击者就无法找出确定可以导致最坏情况的数据。这种方法叫做全域散列。

●h（key）=（（axkey+b）%P）%M，P需要选一个足够大的质数，a可以随机选[1,P-1]之间的任意整数，b可以随机选[0,P-1]之间的任意整数，这些函数构成了一个P*（P-1）组全域散列函数组。假设P=17，M=6，a=3，b=4，则h（8）=（（3x8+4）%17）%6=5。

●需要注意每次初始化哈希表时，随机选取全域散列函数组中的一个散列函数使用，后续增删查改都固定使用这个散列函数，否则每次哈希都是随机选一个散列函数，那么插入是一个散列函数，查找又是另一个散列函数，就会导致找不到插入的key了。

1.5.4其它方法（了解）

●上面的几种方法是《算法导论》书籍中讲解的方法。

●《殷人昆 数据结构：用面向对象方法与C++语言描述（第二版）》和《数据结构（C语言版） 严蔚敏_吴伟民》等教材型书籍上面还给出平方取中法、折叠法、随机数法、数学分析法等，这些方法相对更适用于一些局限的特定场景。

1.6处理哈希冲突

实际中哈希表一般还是选择除法散列法作为哈希函数，当然哈希表无论选择什么哈希函数也避免不了冲突，那么插入数据时，如何解决冲突？主要有两种方法，开放定址法 和链地址法。

1.6.1开放定址法

在开放定址法中所有的元素都放在哈希表中，当一个关键字key用哈希函数计算出的位置冲突了，则按照某种规则找到一个没有存储数据的位置进行存储，开放定址法中负载因子一定是小于1的。这里的规则有三种：线性探测、二次探测、双重探测。

线性探测

●从发生冲突的位置开始，依次线性向后探测，直到寻找到下一个没有存储数据的位置为止，若走到哈希表尾，则绕回到哈希表头的位置。

●h（key）=hash0=key%M，hash0位置冲突了，则线性探测公式为：hc（key，i）=hashi=（hash0+i）%M，i={1，2，3，...，M-1}，因为负载因子小于1，则最多探测M-1次，一定能找到一个存储key的位置。

●线性探测的比较简单且容易实现，线性探测的问题假设，hash0位置连续冲突，hash0，hash1，hash2位置已经存储数据了，后续映射到hash0，hash1，hash2，hash3的值都会争夺hash3位置，这种现象叫做群集/堆积。下面的二次探测可以一定程度改善这个问题。

●下面演示{19，30，5，36，13，20，21，12}等这一组值映射到M=11的表中。

h（19）=8，h（30）=8，h（5）=5，h（36）=3，h（13）=2，h（20）=9，h（21）=10，h（12）=1

二次探测

●从发生冲突的位置开始，依次左右二次方跳跃式探测，直到寻找到下一个没有存储数据的位置为止，若往右走到哈希表尾，则回绕到哈希表头的位置；若往左走到哈希表头，则绕回到哈希表尾的位置；

●h(key）=hash0=key%M，hash0位置冲突了，则二次探测公式为：hc（key，i）=hashi=（hash0∓i^2)%M，i={1，2，3...，M/2}

●二次探测当hashi=（hash0-i^2）%M时，当hashi<0时，需要hashi+=M

●下面演示{19，30，52，63，11，22}等这一组值映射到M=11的表中。

h（19）=8，h（30）=8，h（52）=8，h（63）=8，h（11）=0，h（22）=0

双重散列（了解）

●第一个哈希函数计算出的值发生冲突，使用第二个哈希函数计算出一个跟key相关的偏移量值，不断往后探测，直到寻找到下一个没有存储数据的位置为止。

●h1（key）=hash0=key%M，hash0位置冲突了，则双重探测公式为：hc（key，i）=hashi=（hash0+i*h2（key））%M，i={1，2，3，...，M}。

●要求h2（key）<M且h2（key）和M互为质数，有两种简单的取值方法：1、当M为2整数幂时，h2（key）从[0,M-1]任选一个奇数；2、当M为质数时，h2（key）=key%（M-1）+1

●保证h2（key）与M互质是因为根据固定的偏移量所寻址的所有位置将形成一个群，若最大公约数p=gcd（M，h1（key）)>1，那么所能寻址的位置的个数为M/P<M，使得对于一个关键字来说无法充分领用整个散列表。例：若初始探测位置为1，偏移量为3，整个散列表大小为12，那么所能寻址的位置为{1，4，7，10}，寻址个数为12/gcd（12，3）=4

●下面演示{19，30，52，74}等这一组值映射到M=11的表中，设h2（key）=key%10+1

1.6.2开放定址法代码实现

开放地址法在实践中，不如下面链地址法，因为开发定址法解决冲突不管使用哪种方法，占用的都是哈希表中的空间，始终存在互相影响的问题。所以开放定址法，简单选择线性探测实现。

开发定址法的哈希表结构

enum State{
    EXIST,EMPTY,DELETE
};
template<class K,class V>
struct HashData{
    pair<K,V> _kv;
    State _state=EMPTY;
};
 template<class K,class V>
 class HashTable{
 private:
    vector<HashData<K,V>> _tables;
    int _n;
 };

要注意这里需要给每个存储值的位置加一个状态标识，否则删除一些值后，回影响后面冲突的值的查找。如下图，删除30，回导致查找20失败，当我们给每个位置加一个状态标识{EXIST，EMPTY，DELETE}，删除30就可以不用删除值，而是把状态改成DELETE，那么查找20是时遇到EMPTY才能停止，就可以找到20.

h（19）=8，h（30）=8，h（5）=5，h（36）=3，h（13）=2，h（20）=9，h（21）=10，h（12）=1

扩容

哈希表负载因子控制在0.7，当负载因子到0.7以后就需要扩容，按照2倍扩容，但是同时要保持哈希表是一个质数，第一个是质数，2倍后就不是质数了。那么如何解决？一种方案就是上面1.4.1除法散列中的Java HashMap的使用2的整数幂，但是计算时不能直接取模的改进方法。另一种方案时sgi版本的哈希表使用的方法，给了一个近似2倍的质数表，每次取质数表获取扩容后的大小。

inline unsigned long __stl_next_prime(unsigned long n){
    //Note:assumes long is at least 32 bits
    static const int __stl_num_primes=28;
    static const unsigned long __stl_prime_list[__stl_num_primes]={
        53, 97, 193, 389, 769,
		1543, 3079, 6151, 12289, 24593,
		49157, 98317, 196613, 393241, 786433,
		1572869, 3145739, 6291469, 12582917, 25165843,
		50331653, 100663319, 201326611, 402653189, 805306457,
		1610612741, 3221225473, 4294967291
    };
    const unsigned long* first=__stl_prime_list;
    const unsigned long* last=__stl_prime_list+__stl_num_primes;
    const unsigned long* pos=lower_bound(first,last,n);
    return pos==last?*(last-1):*pos;
}

key不能取模的问题

当key是string/Date等类型是，key不能取模，那么需要给HashTable增加一个仿函数，这个仿函数支持把key转换成一个可以取模的整型，若key可以转换为整型并且不容易冲突，那么这个仿函数就用默认参数即可，若这个key不能转换成整型，就需要自己实现一个仿函数传给这个参数，实现这个仿函数的要求就是尽量key的每个值都参与到计算中，让不同的key转换出的整型值不同。string做哈希表的key非常常见，所以可以把sring特化一下。

template<class K>
struct HashFunc{
    size_t operator()(const K& key){
        return (size_t)key;
    }
};
template<>
struct HashFunc<string>{
    size_t operator()(const string& s){
        //BKDR
        size_t hash=0;
        for(auto ch:s){
            hash+=ch;
            hash*=131;
        }
        return hash;
    }
};
template<class K,class V,class Hash=HashFunc<K>>
class HashTable{
private:
    vector<HashData<K,V>> _tables;
    int _n;
};

完整代码示例

namespace open_address{
    template<class K,class V,class Hash=HashFunc<K>>
    class HashTable{
    public:
        HashTable()
            :_tables(__stl_next_prime(0))
            ,_n(0)
        {}
        bool Insert(const pair<K,V>& kv){
            if(Find(kv.first)){
                return false;
            }
            //负载因子>=0.7,扩容
            if(_n*10/_tables.size()>=0.7){
                //旧法，等于说把Insert接口的逻辑又实现了一遍
                // vector<HashData<K,V> nextables(_tables.size()*2);
                // for(auto& data:_tables){
                //     //旧表的数据映射到新表
                //     if(data._state==EXIST){
                //         size_t hash0=data._kv.first%newtables.size();
                //         //......
                //     }
                // }
                //现代写法
                HashTable<K,V> newht;
                //newht._tables.resize(_tables.size()*2);
                newht._tables.resize(__stl_next_prime(_tables.size()+1));
                for(auto& data:_tables){
                    //旧表映射到新表
                    if(data._state==EXIST)
                        newht.Insert(data._kv);
                }
                _tables.swap(newht._tables);
            }
            size_t hash0=kv.first%_tables.size();
            size_t hash1=hash0;
            int i=1;
            int flag=1;
            while(_tables[hash1]._state==EXIST){
                //线性探测
                hash1=(hash0+i)%_tables.size();
                ++i;

                //二次探测
                /*hash1=(hash0+(i*i*flag))%_tables.size();
                if(hash1<_tables.size()){
                    hash1+=_tables.size();
                }
                if(flag==1)
                    flag=-1;
                else{
                    ++i;
                    flag=-1;
                }*/
            }
            _tables[hash1]._kv=kv;
            _tables[hash1]._state=EXIST;
            _n++;
            return false;
        }
        HashData<K,V>* Find(const K& key){
            size_t hash0=key%_tables.size();
            size_t hash1=hash0;
            int i=1;
            while(_tables[hash1]._state!=EMPTY){
                if(_tables[hash1]._kv.first==key&&_tables[hash1]._state==EXIST)
                    return &_tables[hash1];
                hash1=(hash0+i)%_tables.size();
                ++i;
            }
            return nullptr;
        }
        bool Erase(const K& key){
            HashData<K,V>* ret=Find(key);
            if(ret){
                ret->_state=DELETE;
                --_n;
                return true;
            }
            else return false;
        }
    private:
        vector<HashData<K,V>> _tables;
        int _n;
 
    };
}

1.6.3链地址法

解决冲突的思路

开放定址法中所有的元素都放在哈希表里，链地址法中所有的数据不再直接存储在哈希表中，哈希表中存储一个指针，没有数据映射这个位置时，这个指针为空，有多个数据映射到这个位置时，我们把这些冲突的数据链接成一个链表，挂在哈希表这个位置下面，链地址法也叫拉链法或哈希桶。

●下面演示{19，30，5，36，13，20，21，12，24，96}等这一组值映射到M=11的表中。

h（19）=8，h（30）=8，h（5）=5，h（36）=3，h（13）=2，h（20）=9，h（21）=10，h（12）=1，h（24）=2，h（96）=88

扩容

开放定址法负载因子必须小于1，链地址法的负载因子就没有限制了，可以大于1。负载因子越大，哈希冲突的概率越高，空间利用率越高；负载因子越小，哈希冲突的概率越低，空间利用率越低；stl中unordered_xxx的最大负载因子基本控制在1，大于1就扩容。

极端场景

若极端场景下，某个桶特别长怎么办？可以考虑使用全域散列法，这样就不容易被针对。但是假设不是被针对了，用来全域散列法，但是偶然情况下，某个桶很长，查找效率很低怎么办？在Java8的HashMap中当桶的长度超过一定阈值（8）时就把链表转换成红黑树。一般情况下，不断扩容，单个桶很长的场景还是比较少的。

1.6.4链地址法代码实现

namespace hash_bukect{
    template<class K,class V>
    struct HashNode{
        pair<K,V> _kv;
        HashNode<K,V>* _next;

        HashNode(const pair<K,V>& kv)
            :_kv(kv)
            ,_next(nullptr)
        {}
    };
    template<class K,class V,class Hash=HashFunc<K>>
    class HashTable{
        typedef HashNode<K,V> Node;
    public:
        HashTable()
            :_tables(11)
            ,_n(0)
        {}
        inline unsigned long __stl_next_prime(unsigned long n){
            //Note:assumes long is at least 32 bits
            static const int __stl_num_primes=28;
            static const unsigned long __stl_prime_list[__stl_num_primes]={
                53, 97, 193, 389, 769,
		        1543, 3079, 6151, 12289, 24593,
		        49157, 98317, 196613, 393241, 786433,
		        1572869, 3145739, 6291469, 12582917, 25165843,
		        50331653, 100663319, 201326611, 402653189, 805306457,
		        1610612741, 3221225473, 4294967291
            };
            const unsigned long* first=__stl_prime_list;
            const unsigned long* last=__stl_prime_list+__stl_num_primes;
            const unsigned long* pos=lower_bound(first,last,n);
            return pos==last?*(last-1):*pos;
        }
        bool Insert(const pair<K,V>& kv){
            //当负载因子为1时，扩容
            if(_n==_tables.size()){

                //直接复用Insert，不好
                /*HashTable<K,V> newht;
                newht._tables.resize(_tables.size()*2);
                for(int i=0;i<_tables.size();i++){
                    Node* cur=_tables[i];
                    while(cur){
                        newht.Insert(cur);
                        cur=cur->_next;
                    }
                }
                _tables.swap(newht);*/

                HashTable<K,V> newht;
                newht._tables.resize(_tables.size()*2);
                //newht._tables.resize(__stl_next_prime(_tables.size()+1));
                for(int i=0;i<_tables.size();i++){
                    Node* cur=_tables[i];
                    while(cur){
                        Node* next=cur->_next;
                        size_t hash1=cur->_kv.first%newht._tables.size();
                        //头插
                        cur->_next=newht[hash1];
                        newht[hash1]=cur;
                        cur=next;
                    }
                    _tables[i]=nullptr;
                }
                _tables.swap(newht);
            }
            //头插
            size_t hash1=kv.first%_tables.size();
            Node* newNode=new Node(kv);
            newNode->next=_tables[hash1];
            _tables[hash1]=newNode;
            ++_n;
            return true;
        }
        Node* Find(const K& key){
            size_t hash0=key%_tables.size();
            Node* cur=_tables[hash0];
            while(cur){
                if(cur->_kv.first==key)
                    return cur;
                cur=cur->_next;
            }
            return nullptr;
        }
        bool Erase(const K& key){
            //没有这个值
            if(!Find(key)) return false;
            size_t hash0=key%_tables.size();
            Node* cur=_tables[hash0];
            Node* prev=nullptr;
            while(cur){
                if(cur->_kv==key){
                    //删除的节点是链表的头
                    if(!prev){
                        _tables[hash0]=cur->_next;
                    }
                    else{
                        prev->_next=cur->_next;
                    }
                    delete cur;
                    --_n;
                    return true;
                }
                prev=cur;
                cur=cur->_next;
            }
            return false;
        }
    private:
        vector<HashNode<K,V>*> _tables;
        size_t _n;
    };
}