大数据中TopK问题

1.给定100个int数字,在其中找出最大的10个;

import java.util.PriorityQueue;

public class Main {
    public static void main(String[] args) {
        final int topK = 3;
        int[] vec = {4, 1, 5, 8, 7, 2, 3, 0, 6, 9};
        PriorityQueue<Integer> pq = new PriorityQueue<>(topK);
        for (int x : vec) {
            pq.offer(x);
            if (pq.size() > topK) {
                // 如果超出个数,则弹出堆顶(最小的)数据
                pq.poll();
            }
        }

        while (!pq.isEmpty()) {
            System.out.println(pq.poll()); // 输出依次为7,8,9
        }
    }
}

⒉给定10亿个int数字,在其中找出最大的10个(这10个数字可以无序);

3.给定10亿个int数字,在其中找出最大的10个(这10个数字依次排序);

有时候topK问题会遇到数据量过大,内存无法全部加载。这个时候,可以考虑将数据存放至bitmap中,方便查询。

比如,给出10个int 类型的数据,分别是【13,12,11,1,2,3,4,5,6,7】,int类型的数据每个占据4个字节,那这个数组就占据了40个字节。现在,把它们放到一个16个长度bool的 bitmap中,结果就是【0,1,1,1,1,1,1,1,0,0,0,1,1,1,0,0】,在将空间占用降低至4字节的同时,也可以很方便的看出,最大的3个数字,分别是11,12和13。

需要说明的是,bitmap结合跳表一起使用往往有奇效。比如以上数据还可以记录成:从第1位开始,有连续7个1;从第11位开始,有连续3个1。这样做,空间复杂度又得到了进一步的降低。

这种做法的优势,当然是降低了空间复杂度。不过需要注意一点,bitmap比较适合不重复且有范围(比如,数据均在0~10亿之间)的数据的查询。至于有重复数据的情况,可以考虑与hash 等结构的混用。

4.给定10亿个不重复的int数字,在其中找出最大的10个;

如果遇到了查询string类型数据的大小,可以考虑hash方法。

举个例子,10个string数字【"1001""23","1002","3003""2001","1111","65","834","5","987"】找最大的3个。我们先通过长度进行hash,得到长度最大为4,且有5个长度为4的string。接下来再通过最高位值做hash,发现有1个最高位为"3'的,1个为"2"的,3个为"1"的。接下来,可以通过再设计 hash函数,或者是循环的方式,在3个最高位为"1"的sting 中找到最大的一个,即可找到3个最值大的数据。

这种方法比较适合网址或者电话号码的查询。缺点就是如果需要多次查询的话,需要多次计算 hash,并且需要根据实际情况设计多个hash 函数。

5.给定10个数组,每个数组中有1亿个int数字,在其中找出最大的10个;

字典树(trie)的具体结构和查询方式,不在这里熬述了,自行百度一下就有很多。这里主要说一下优缺点。

字典树的思想,还是通过前期建立索引信息,后期可以反复多次查询,并且后期增删数据也很方便。比较适合于需要反复多次查询的情况。

比如,反复多次查询字符序(例如: z>y. ....>b>a)最大的k个url这种,使用字典树把数据存储一遍,就非常适合。既减少了空间复杂度,也加速了查询效率。

6.给定10亿个string类型的数字,在其中找出最大的10个(仅需要查1次);

以上几种方法,都是比较独立的方法。其实,在实际工作中,遇到更多的问题还是混合问题,这就需要我们对相关的内容,融会贯通并且做到活学活用。

我举个例子︰我们的分布式服务跑在10台不同机器上,每台机器上部署的服务均被请求1000次,并且记录了个这1000次请求的耗时(耗时值为int 数据),找出这10*10000次请求中,从高到低的找出耗时最大的50个。看看这个问题,很现实吧。我们试着用上面介绍的方法,组合一下来求解。

#方法一

首先,对每台机器上的10000个做类似快排,找出每台机器上top50的耗时信息。此时,单机上的这50条数据是无序的。

然后,再将10台机器上的50条数据(共500条))放到一起,再做一次类似快排,找到最大的50个(此时应该这50个应该是无序的)。

最后,对这50个数据做快排,从而得到最终结果。

7.给定10亿个string类型的数字,在其中找出最大的k个(需要反复多次查询,其中k是一个随机数字)。

首先通过堆排,分别找出10台机器上耗时最高的50个数据,此时的这50个数据,已经是从大到小有序的了。

然后,我们依次取出10台机器中,耗时最高的5条放入小顶堆中。

最后,遍历10台机器上的数据,每台机器从第6个数据开始往下循环,如果这个值比堆顶的数据大,则抛掉堆顶数据并且把它加入,继续用下一个值进行同样比较。如果这个值比堆顶的值小,则结束当前循环,并且在下一台机器上做同样操作。

相关推荐
2301_801760931 分钟前
数据结构--PriorityQueue
数据结构
乐悠小码7 分钟前
数据结构------队列(Java语言描述)
java·开发语言·数据结构·链表·队列
2的n次方_11 分钟前
二维费用背包问题
java·算法·动态规划
simple_ssn39 分钟前
【C语言刷力扣】1502.判断能否形成等差数列
c语言·算法·leetcode
寂静山林1 小时前
UVa 11855 Buzzwords
算法
Curry_Math1 小时前
LeetCode 热题100之技巧关卡
算法·leetcode
ahadee1 小时前
蓝桥杯每日真题 - 第10天
c语言·vscode·算法·蓝桥杯
军训猫猫头2 小时前
35.矩阵格式的一到一百数字 C语言
c语言·算法
Mr_Xuhhh3 小时前
递归搜索与回溯算法
c语言·开发语言·c++·算法·github
SoraLuna3 小时前
「Mac玩转仓颉内测版12」PTA刷题篇3 - L1-003 个位数统计
算法·macos·cangjie