408 数据结构|外部排序优化:怎么减少时间开销

对应章节:排序 → 外部排序优化

1. 外部排序时间花在哪里

外部排序时间主要包括:

复制代码
读写外存时间
+
内部排序时间
+
内部归并时间

其中最关键的一般是:

复制代码
外存 I/O

因为磁盘读写比内存运算慢得多。

2. 优化方向一:增大归并路数 k

归并趟数:

复制代码
S = ceil(log_k r)

所以:

复制代码
k 越大
→ 每趟合并更多归并段
→ 归并趟数越少

例如:

复制代码
r=16

2路归并:
16 → 8 → 4 → 2 → 1
共4趟

4路归并:
16 → 4 → 1
共2趟

3. 增大 k 的代价

不能无限增大。

代价1:占更多内存

k 路归并需要:

复制代码
k个输入缓冲区 + 1个输出缓冲区

所以:

复制代码
k越大
→ 内存需求越大

代价2:选最小记录更麻烦

如果直接从 k 个候选记录中选最小值:

复制代码
一次选择大约需要 k-1 次关键字比较

因此:

复制代码
k越大
→ 直接比较的成本越高

4. 优化方向二:减小初始归并段数量 r

因为:

复制代码
S = ceil(log_k r)

所以:

复制代码
r越小
→ 归并趟数越少
→ 外存读写次数越少

5. 为什么"少一趟"很重要

每一趟归并通常都要:

复制代码
把数据从外存读入
↓
完成归并
↓
再写回外存

所以多一趟,就意味着又多一轮大规模磁盘读写。

6. 做题时直接这样反应

看到:

复制代码
减少归并趟数

想到:

复制代码
增大 k
减小 r

看到:

复制代码
k路归并

想到:

复制代码
k个输入缓冲区
1个输出缓冲区

看到:

复制代码
增大k的代价

想到:

复制代码
更多缓冲区
更多候选记录比较

7. 一句话速记

复制代码
外部排序想变快:
核心是减少归并趟数

减少归并趟数:
增大k
或
减小r
相关推荐
倒头就睡的小比特3 天前
算法竞赛C++常用的STL
c++·算法
小羊没烦恼!3 天前
初探性能优化——2个月到4小时的性能提升
java·开发语言·windows·算法·c#
猎头南楼3 天前
知识社区推荐系统实践:新用户冷启动与长短期兴趣建模的挑战 资深推荐算法工程师
人工智能·深度学习·算法·机器学习
m0_547486663 天前
《数据结构教程》全套 PPT课件2026
数据结构
旖旎夜光3 天前
力控面试题 01.01: 判定字符是否唯一(位运算) —— 题解
c++·学习·算法·leetcode·力控
wzdark3 天前
大规模并行计算中的负载均衡算法研究4
算法
Because_of_Her13 天前
并查集-听课笔记
笔记·算法·并查集
码流子3 天前
高速公路安全监测实践:碰撞监测预警+物联网底座,从感知到处置的闭环
大数据·人工智能·物联网·算法·架构
another heaven3 天前
【算法/C++ MD5算法能否逆解码?原理、C++实现与同类哈希算法对比】
c++·算法·哈希算法
wzdark3 天前
从算法设计模式看编程思维的抽象能力4
算法