对应章节:排序 → 外部排序优化
1. 外部排序时间花在哪里
外部排序时间主要包括:
读写外存时间
+
内部排序时间
+
内部归并时间
其中最关键的一般是:
外存 I/O
因为磁盘读写比内存运算慢得多。
2. 优化方向一:增大归并路数 k
归并趟数:
S = ceil(log_k r)
所以:
k 越大
→ 每趟合并更多归并段
→ 归并趟数越少
例如:
r=16
2路归并:
16 → 8 → 4 → 2 → 1
共4趟
4路归并:
16 → 4 → 1
共2趟
3. 增大 k 的代价
不能无限增大。
代价1:占更多内存
k 路归并需要:
k个输入缓冲区 + 1个输出缓冲区
所以:
k越大
→ 内存需求越大
代价2:选最小记录更麻烦
如果直接从 k 个候选记录中选最小值:
一次选择大约需要 k-1 次关键字比较
因此:
k越大
→ 直接比较的成本越高
4. 优化方向二:减小初始归并段数量 r
因为:
S = ceil(log_k r)
所以:
r越小
→ 归并趟数越少
→ 外存读写次数越少
5. 为什么"少一趟"很重要
每一趟归并通常都要:
把数据从外存读入
↓
完成归并
↓
再写回外存
所以多一趟,就意味着又多一轮大规模磁盘读写。
6. 做题时直接这样反应
看到:
减少归并趟数
想到:
增大 k
减小 r
看到:
k路归并
想到:
k个输入缓冲区
1个输出缓冲区
看到:
增大k的代价
想到:
更多缓冲区
更多候选记录比较
7. 一句话速记
外部排序想变快:
核心是减少归并趟数
减少归并趟数:
增大k
或
减小r