堆排序之“TOP-K”问题

Han同学2023-11-01 16:37

目录

一、什么是TOP-K问题

二、解决思路

一般的正常思路：

最优的解决思路：

三、文件流中实践TOP-K方法

创建包含足够多整数的文件：

找出最大的K个数

完整版代码：

前面我已经学习过使用"堆排序"对数组排降序了，接下来再来看一个堆排序的应用场景。

一、什么是TOP-K问题

TOP-K问题：即求数据结合中前K个最大的元素或者最小的元素，一般情况下数据量都比较大，即：N个数找最大的前K个。

二、解决思路

一般的正常思路：

把这N个数建成大堆，Pop弹出K次堆顶，即可找出最大的前K个数，但是有些场景这种思路解决不了，例如N非常大时，假设N是10亿，10亿个数建堆所需的空间我们来计算一下：

一个整型变量需要四个字节空间，10亿个整型数据需要40亿个字节，1G可以放10亿字节，所以我们需要 4G空间为10亿个整型数据建堆。

4G感觉不多的话，如果一百亿数据呢？一千亿呢？

内存无法承载这么大的空间时，数据会存储到磁盘上，磁盘的效率比内存慢很多，所以这种方法如果数据过多，就无法再内存上快速找到TOP-K。

最优的解决思路：

  1. 前K个数建小堆。
  2. 后面N-K个数，依次比较，如果比堆顶的数据大，就替换它进堆，进堆后向下调整。
  3. 最后这个小堆的值就是最大的前K个。

三、文件流中实践TOP-K方法

我们来在文件中实践一下这个方法：

创建包含足够多整数的文件：

cpp 复制代码 
void CreateNData()
{
	int n = 100000;
	srand(time(0));
	const char* file = "data.txt";
	FILE* fin = fopen(file, "w");
	if (fin == NULL)
	{
		perror("fopen error");
		return;
	}
	for (size_t i = 0; i < n; i++) {
		int x = rand() % 10000000;
		fprintf(fin, "%d\n", x);
	}
	fclose(fin);
}
  • 定义一个变量n，表示要生成的随机整数的数量为十万个。
  • 使用srand函数设置随机数种子，time(0)返回当前时间的秒数，确保每次运行程序生成的随机数序列都不同。
  • 定义一个文件名file，表示要生成的文件名。
  • 使用fopen函数打开文件，以写入模式打开，如果没有文件，则创建一个，如果文件打开失败，输出一个错误信息并返回。
  • 使用for循环生成n个随机整数，并使用fprintf函数将它们写入文件中。
  • 使用fclose函数关闭文件。

找出最大的K个数

如果建小堆的方法---向下调整 忘记了，不妨看看这篇文章 向下调整的部分

cpp 复制代码 
void PrintTopK(int k)
{
	const char* file = "data.txt";
	FILE* fout = fopen(file, "r");
	if (fout == NULL)
	{
		perror("fopen error");
		return;
	}
	int* kminheap = (int*)malloc(sizeof(int) * k);
	if (kminheap == NULL)
	{
		perror("malloc error");
		return;
	}

	for (int i = 0; i < k; i++)
	{
		fscanf(fout, "%d", &kminheap[i]);
	}
	
	for (int i = (k - 1 - 1) / 2; i >= 0; i--)
	{
		AdjustDown(kminheap, k, i);
	}

	int val = 0;
	while (!feof(fout))
	{
		fscanf(fout, "%d", &val);
		if (val > kminheap[0])
		{
			kminheap[0] = val;
			AdjustDown(kminheap, k, 0);
		}
	}

	for (int i = 0; i < k; i++)
	{
		printf("%d ", kminheap[i]);
	}
	printf("\n");
}

代码较长进行分段讲解：

cpp 复制代码 
    const char* file = "data.txt";
	FILE* fout = fopen(file, "r");
	if (fout == NULL)
	{
		perror("fopen error");
		return;
	}
	int* kminheap = (int*)malloc(sizeof(int) * k);
	if (kminheap == NULL)
	{
		perror("malloc error");
		return;
	}
    for (int i = 0; i < k; i++)
	{
		fscanf(fout, "%d", &kminheap[i]);
	}
  • 定义一个文件名file，表示要读取的文件名。
  • 使用fopen函数打开文件，以读取模式打开，如果文件打开失败，输出一个错误信息并返回。
  • 使用malloc函数动态分配一个大小为k的整数数组 kminheap，用于存储最大的 k 个数，如果内存分配失败，输出一个错误信息并返回。
  • 使用for循环从文件中读取前k个整数，并将它们存储到kminheap数组中。
cpp 复制代码 
    for (int i = (k - 1 - 1) / 2; i >= 0; i--)
	{
		AdjustDown(kminheap, k, i);
	}

	int val = 0;
	while (!feof(fout))
	{
		fscanf(fout, "%d", &val);
		if (val > kminheap[0])
		{
			kminheap[0] = val;
			AdjustDown(kminheap, k, 0);
		}
	}

	for (int i = 0; i < k; i++)
	{
		printf("%d ", kminheap[i]);
	}
	printf("\n");
  • 使用向下调整函数将kminheap数组构建成一个小堆（从小到大）。
  • feof(fout)是一个C标准库函数，用于判断文件指针fout所指向的文件是否已经到达文件末尾。该函数的返回值为非零值表示已经到达文件末尾，返回值为0表示文件还没有到达末尾。
  • 使用while循环从文件中读取剩余的N-K整数，如果某个整数比堆顶元素大，就将它替换堆顶元素，并使用AdjustDown函数将堆重新调整为小堆，
  • 因为我们需要前K个最大的数，而建的小堆也是K个元素，所以这种操作可以得到由最大前K个元素构成的小堆。
  • 使用for循环输出堆中的所有元素。
  • 使用fclose函数关闭文件。
    我们来测试一下，首先我在主函数调用CreateNData函数对文件data.txt写入文件。
cpp 复制代码 
int main()
{
	CreateNData();
	return 0;
}

然后在文件中对五个数添加几位使其成为最大的五个数。
这是屏蔽掉 CreateNData 函数，防止重新生成数字覆盖我修改的数字，调用PrintTopK函数输出5个最大的数。

cpp 复制代码 
int main()
{
	//CreateNData();
	PrintTopK(5);
	return 0;
}

输出结果为：

完整版代码：

cpp 复制代码 
#include <stdio.h>
#include <stdlib.h>
#include <time.h>

void Swap(HPDataType* p1, HPDataType* p2)
{
	HPDataType tmp = *p1;
	*p1 = *p2;
	*p2 = tmp;
}

void AdjustDown(HPDataType* a, int size, int parent)
{
	int child = parent * 2 + 1;
	while (child < size) {
		if (child + 1 < size && a[child + 1] < a[child]) {
			child++;
		}
		if (a[child] < a[parent]) {
			Swap(&a[child], &a[parent]);
			parent = child;
			child = parent * 2 - 1;
		}
		else {
			break;
		}
	}
}	


void CreateNData()
{
	int n = 100000;
	srand(time(0));
	const char* file = "data.txt";
	FILE* fin = fopen(file, "w");
	if (fin == NULL)
	{
		perror("fopen error");
		return;
	}
	for (size_t i = 0; i < n; i++) {
		int x = rand() % 10000000;
		fprintf(fin, "%d\n", x);
	}
	fclose(fin);
}

void PrintTopK(int k)
{
	const char* file = "data.txt";
	FILE* fout = fopen(file, "r");
	if (fout == NULL)
	{
		perror("fopen error");
		return;
	}
	int* kminheap = (int*)malloc(sizeof(int) * k);
	if (kminheap == NULL)
	{
		perror("malloc error");
		return;
	}

	for (int i = 0; i < k; i++)
	{
		fscanf(fout, "%d", &kminheap[i]);
	}
	// 建小堆
	for (int i = (k - 1 - 1) / 2; i >= 0; i--)
	{
		AdjustDown(kminheap, k, i);
	}

	int val = 0;
	while (!feof(fout))
	{
		fscanf(fout, "%d", &val);
		if (val > kminheap[0])
		{
			kminheap[0] = val;
			AdjustDown(kminheap, k, 0);
		}
	}

	for (int i = 0; i < k; i++)
	{
		printf("%d ", kminheap[i]);
	}
	printf("\n");
	fclose(fout);
}

int main()
{
	CreateNData();
	PrintTopK(5);
	return 0;
}
相关推荐
DogDaoDao1 小时前
leetcode 面试经典 150 题：矩阵置零
数据结构·c++·leetcode·面试·矩阵·二维数组·矩阵置零
徐子童2 小时前
二分查找算法专题
数据结构·算法
小王子10242 小时前
数据结构与算法Python版 二叉查找树
数据结构·python·算法·二叉查找树
DoNow☼2 小时前
什么是数据结构
数据结构
WPG大大通4 小时前
基于DIODES AP43781+PI3USB31531+PI3DPX1207C的USB-C PD& Video 之全功能显示器连接端口方案
c语言·开发语言·计算机外设·开发板·电源·大大通
Dong雨6 小时前
六大排序算法：插入排序、希尔排序、选择排序、冒泡排序、堆排序、快速排序
数据结构·算法·排序算法
析木不会编程6 小时前
【C语言】动态内存管理：详解malloc和free函数
c语言·开发语言
达帮主6 小时前
7.C语言 宏（Macro） 宏定义，宏函数
linux·c语言·算法
茶猫_6 小时前
力扣面试题 39 - 三步问题 C语言解法
c语言·数据结构·算法·leetcode·职场和发展
初学者丶一起加油6 小时前
C语言基础：指针（数组指针与指针数组）
linux·c语言·开发语言·数据结构·c++·算法·visual studio
热门推荐
01大模型国产化适配7-华为昇腾LLM落地可选解决方案（MindFormers、ModelLink、MindIE）02Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO03玄机平台应急响应—webshell查杀04电赛2024年H题智能小车基于MSPM0G3507主控MCU（利用8路灰度加上MPU6050的解决方式）具体项目报告05组基轨迹建模 GBTM的介绍与实现（Stata 或 R）06支付宝短视频平台创作分成激励项目07怎么找小红书美食探店博主合作？08【一文读懂】NTN（非地面网络）技术介绍09优化手机性能，解决卡顿问题：关闭这3个微信开关，释放内存空间10校验 GPT-4 真实性的三个经典问题：快速区分 GPT-3.5 与 GPT-4，并提供免费测试网站