海量数据
1、从大量的URL中找出相同的URL
解法：
分治法：
-
如果是单个很大的文件，直接划分文件，按特定大小划分，然后多线程，用map对各个文件进行统计。
-
如果是两个很大的文件，a和b。通过遍历a文件，对每个URL进行：i=Hash(URL)%500（500为文件个数，可以为其他的值）。将该URL写入到Ai文件。对b文件也是同样的操作。然后对500个文件对【Ai, Bi】。遍历Ai文件，URL用set记录。遍历Bi文件，如果URL存在就是a、b都存在的URL。Ai、Bj中不可能存在相同的URL。
前缀树：
- 单个文件：前缀树也是可以的。第一次就创建前缀树节点。后面就记录虫回复的URL。
- 两个文件：对a文件先进行遍历，建立前缀树。然后对b文件遍历，如果URL在前缀树中。就记录为两个文件的相同的URL。
记：
分治法：hash划分小文件，对小文件处理。
前缀树。
2、从大量数据中找出高频词
问题描述：
一个大小为1GB的文件，文件里每一行是一个单词，每个单词16B，内存大小限制是1MB。找出频率最高的前100个单词。
解法：
- 遍历文件中所有记录，用map记录。然后遍历map，用大小为100的小根堆筛选出TOP100。
- 前缀树：节点值是单词的频次。然后在加上小根堆。
- 分支法：Hash划分为多个小文件，遍历小文件进行map记录。小根堆。
3、找出访问某网站最多的ip
问题描述：
现有海量日志数据保存在一个超大文件中，文件无法直接读入内存，求其中某天访问某个网站次数最多的那个ip。
解法：
先提取日志中某天访问某个网站的全部ip到某一个文件file。接下来就是求"求出现次数最多的ip"。
- 前缀树：遍历file，一边建立前缀树，一边记录最大值，以及对应ip。
- 分治法：hash划分为多个小文件，i = HASH(ip) % num。这样相同的ip必然落在同一个文件中。遍历每个小文件，用map记录，再用小顶堆筛选TOP K
4、在海量数据中找出不重复的整数
问题描述：
在2.5亿个整数中找不重复的整数，内存不足以容纳这些整数。
解法：
-
分支法：划分小文件，用set找出不重复的整数，合并子结果。
-
位图法：每个数有三种状态（00：没有出现过，01：出现过一次，10：出现过两次），2^32*2bi = 2^33 bit = 1GB。
5、在海量数据中判断一个数是否存在
问题描述：
给定40亿个无序unsigned int，快速判断某个数字是否在这40亿个数字中
解法：
位图法，unsigned int范围是[0, 1 << 32)，则需要 1 << 32 ≈ 512MB。
遍历所有数字建立位图，可以用多线程加速，无需加锁。
unsigned int bitmap[16] [11]. 一个unsigned int的高16位确定数组的第一维度，次11位确定数组的第二维度，最低5位确定unsigned int中那一位置为一。
6、查询最热门的查询串？
解法
- 划分小文件，unorderded_map统计小文件单词出现次数，然后小顶堆求topK
- 前缀树+小顶堆
7、统计不同电话号码的个数
一个电话号码11位，可以用一个unsigned long long记录。问题转化为求不重复的整数的个数。
- set
- 位图
8、求5亿个数中的中位数
解法：
- （内存能容纳全部数字的情况下）双堆法：一个最大堆，一个最小堆
- 分支法：顺序读取5亿个数字，按照二进制的最高位是否为1划分为两部分。然后按照二进制的次高位继续划分。
9、如何按照query的频次排序
如果重复度较大，可以选择unordered_map
否则，内存则无法承受，先hash划分为小文件，记录频次，再对小文件频次排序，之后再归并排序。
10、Top K
堆