408 数据结构|外部排序优化:怎么减少时间开销

对应章节:排序 → 外部排序优化

1. 外部排序时间花在哪里

外部排序时间主要包括:

复制代码
读写外存时间
+
内部排序时间
+
内部归并时间

其中最关键的一般是:

复制代码
外存 I/O

因为磁盘读写比内存运算慢得多。

2. 优化方向一:增大归并路数 k

归并趟数:

复制代码
S = ceil(log_k r)

所以:

复制代码
k 越大
→ 每趟合并更多归并段
→ 归并趟数越少

例如:

复制代码
r=16

2路归并:
16 → 8 → 4 → 2 → 1
共4趟

4路归并:
16 → 4 → 1
共2趟

3. 增大 k 的代价

不能无限增大。

代价1:占更多内存

k 路归并需要:

复制代码
k个输入缓冲区 + 1个输出缓冲区

所以:

复制代码
k越大
→ 内存需求越大

代价2:选最小记录更麻烦

如果直接从 k 个候选记录中选最小值:

复制代码
一次选择大约需要 k-1 次关键字比较

因此:

复制代码
k越大
→ 直接比较的成本越高

4. 优化方向二:减小初始归并段数量 r

因为:

复制代码
S = ceil(log_k r)

所以:

复制代码
r越小
→ 归并趟数越少
→ 外存读写次数越少

5. 为什么"少一趟"很重要

每一趟归并通常都要:

复制代码
把数据从外存读入
↓
完成归并
↓
再写回外存

所以多一趟,就意味着又多一轮大规模磁盘读写。

6. 做题时直接这样反应

看到:

复制代码
减少归并趟数

想到:

复制代码
增大 k
减小 r

看到:

复制代码
k路归并

想到:

复制代码
k个输入缓冲区
1个输出缓冲区

看到:

复制代码
增大k的代价

想到:

复制代码
更多缓冲区
更多候选记录比较

7. 一句话速记

复制代码
外部排序想变快:
核心是减少归并趟数

减少归并趟数:
增大k
或
减小r
相关推荐
开发小能手1239 小时前
答案daanC语言
数据结构·算法
Navigator_Z11 小时前
LeetCode //C - 1291. Sequential Digits
c语言·算法·leetcode
pride.li12 小时前
第03章 Python 教程-基础语法:注释与变量
服务器·前端·后端·python·算法·计算机视觉
旺仔仔仔13 小时前
机器人项目实战(5):从单次抓取,到接收指令连续做事
算法
旺仔仔仔13 小时前
机器人项目实战(2):识别物体、提取点云,再到抓取姿态
算法
姜鱼问生13 小时前
密码明明一样,为什么 GPG 说“错的“?
后端·算法·架构
启观川13 小时前
数据结构与算法-第 3 章 常用算法-贪心算法
数据结构·笔记·python·算法·贪心算法
对空六课13 小时前
指标口径生效时间的版本查询实现
大数据·服务器·前端·算法·数据分析
对空六课13 小时前
RFM分层边界变化的回溯计算
大数据·服务器·前端·数据库·人工智能·算法·数据分析
一勺思维14 小时前
我为什么把 Agent 的核心逻辑从 LangChain 里搬出来手写
算法