408 数据结构|外部排序优化:怎么减少时间开销

对应章节:排序 → 外部排序优化

1. 外部排序时间花在哪里

外部排序时间主要包括:

复制代码
读写外存时间
+
内部排序时间
+
内部归并时间

其中最关键的一般是:

复制代码
外存 I/O

因为磁盘读写比内存运算慢得多。

2. 优化方向一:增大归并路数 k

归并趟数:

复制代码
S = ceil(log_k r)

所以:

复制代码
k 越大
→ 每趟合并更多归并段
→ 归并趟数越少

例如:

复制代码
r=16

2路归并:
16 → 8 → 4 → 2 → 1
共4趟

4路归并:
16 → 4 → 1
共2趟

3. 增大 k 的代价

不能无限增大。

代价1:占更多内存

k 路归并需要:

复制代码
k个输入缓冲区 + 1个输出缓冲区

所以:

复制代码
k越大
→ 内存需求越大

代价2:选最小记录更麻烦

如果直接从 k 个候选记录中选最小值:

复制代码
一次选择大约需要 k-1 次关键字比较

因此:

复制代码
k越大
→ 直接比较的成本越高

4. 优化方向二:减小初始归并段数量 r

因为:

复制代码
S = ceil(log_k r)

所以:

复制代码
r越小
→ 归并趟数越少
→ 外存读写次数越少

5. 为什么"少一趟"很重要

每一趟归并通常都要:

复制代码
把数据从外存读入
↓
完成归并
↓
再写回外存

所以多一趟,就意味着又多一轮大规模磁盘读写。

6. 做题时直接这样反应

看到:

复制代码
减少归并趟数

想到:

复制代码
增大 k
减小 r

看到:

复制代码
k路归并

想到:

复制代码
k个输入缓冲区
1个输出缓冲区

看到:

复制代码
增大k的代价

想到:

复制代码
更多缓冲区
更多候选记录比较

7. 一句话速记

复制代码
外部排序想变快:
核心是减少归并趟数

减少归并趟数:
增大k
或
减小r
相关推荐
Dream it possible!1 小时前
LeetCode 面试经典 150_多维动态规划_交错字符串(97_C++_中等)
算法·leetcode·面试·动态规划
心抵鹊1 小时前
算法之双指针系列(一)
算法·leetcode
十二1 小时前
【洛谷题解】P1083 [NOIP 2012 提高组] 借教室(二分答案 + 差分)
数据结构·c++·算法·蓝桥杯
小此方2 小时前
[算法实战论:动态规划]回文串问题的dp解法,回文串问题的母题,以及以此为基础的派生题
算法·动态规划
Pniubi3 小时前
力扣560.和为k的子数组
算法·leetcode·职场和发展
D e re k ZH3 小时前
C++ 从零入门(一):基础语法与程序结构
数据结构·c++·算法
Pniubi4 小时前
力扣438.找到字符串中所有字母异位词
算法·leetcode·职场和发展
東隅已逝,桑榆非晚6 小时前
算法6. 双指针法-查找总价格为目标的两个商品
c++·学习·算法
Eyfcom7 小时前
〖物联网终端实战 01〗UWB 室内高精度定位:仓储 AGV 与人员的厘米级轨迹追踪
物联网·算法·物流系统·快递系统·跨境物流快递系统·物联网终端实战
bro_Java6667 小时前
《排序的底层逻辑:比较、交换与分治》
java·算法·排序算法