sort 慢 8 倍,先看 locale

同一份文件、同一条 sort 命令,换个环境变量,耗时从 0.14 秒变成 1.42 秒。locale 不只是影响中文显示,它同时决定了排序速度、排序结果、以及 cut -c 到底切字节还是切字符。

三条事实来自本机 macOS 27.2.1(Build 26B131)、arm64、系统自带 sort:

  • 【实测】100 万行、每行 4 个小写字母(共 5,000,000 字节,awk 固定种子 srand(7) 生成),LC_ALL=C 下 sort 三次 0.15/0.14/0.14 秒;en_US.UTF-8 下 1.21/1.23/1.12 秒;zh_CN.UTF-8 下 1.42/1.42/1.41 秒。
  • 【实测】同一批数据,LC_COLLATE=C 配 LC_CTYPE=en_US.UTF-8,三次 0.36/0.38/0.36 秒。排序顺序和 LC_ALL=C 完全一致,cmp 输出 ORDER SAME。
  • 【实测】中文字符测试\n 是 19 字节、7 个字符。LC_ALL=C wc -m 报 19,en_US.UTF-8 报 7;LC_ALL=C cut -c1-5 只取出 e4 b8 ad e6 96 五个字节,第二个汉字只剩前 2 个字节。

慢的不是 UTF-8,是排序规则

直觉会说:UTF-8 是多字节编码,解码当然慢。数据不支持这个解释。

en_US.US-ASCII 是单字节编码,不存在多字节解码,sort 同样要 1.27/1.32/1.31 秒。en_US.ISO8859-1 也是单字节,1.35/1.33/1.35 秒。这两个都不比 UTF-8 快。

反过来,把 LC_COLLATE 单独钉回 C、只让 LC_CTYPE 用 UTF-8,耗时掉到 0.36 秒------顺序还和 C 一模一样。也就是说,贵的那部分在 collation(排序规则),不在字符解码。

【实测】六种配置,各跑 3 次:

配置 第 1 次 第 2 次 第 3 次
LC_ALL=C 0.15 s 0.14 s 0.14 s
LC_ALL=en_US.UTF-8 1.21 s 1.23 s 1.12 s
LC_ALL=zh_CN.UTF-8 1.42 s 1.42 s 1.41 s
LC_ALL=en_US.US-ASCII 1.27 s 1.32 s 1.31 s
LC_ALL=en_US.ISO8859-1 1.35 s 1.33 s 1.35 s
LC_COLLATE=C LC_CTYPE=en_US.UTF-8 0.36 s 0.38 s 0.36 s

中位数算,en_US.UTF-8 是 C 的 8.6 倍,zh_CN.UTF-8 是 10 倍。这个倍数只对「100 万行纯小写 a--z」成立,换数据规模、换字符集都会变。

机制部分是推测,我没做 profiling:C 的 collation 是按字节比大小;en_US、zh_CN 这类 locale 要走 strcoll,把两个字符映射到权重表再逐级比较(primary / secondary / tertiary),每次比较都是多次查表。行越短、比较次数越多,差距越明显。本机 sort 具体用的哪套实现,我没查。

这条推测能被上面的对照组证伪一半:如果慢在解码,单字节 locale 不该慢;如果慢在查表,把 LC_COLLATE 换回 C 就该快。两次都符合后一种。

顺序也变了,而且只在你看得见的地方变

纯小写 a--z 的 100 万行,LC_ALL=C 和 en_US.UTF-8 的输出 cmp 完全一致。

换一组混了大小写和重音的样本,差别立刻出来:

text 复制代码
LC_ALL=C                 LC_ALL=en_US.UTF-8
Apple                    apple
Zebra                    Apple
apple                    banana
banana                   eclair
eclair                   Éclair
Éclair                   Zebra

C 按字节值排:大写字母(65--90)全部排在小写(97--122)前面,É 的首字节 C3 比所有 ASCII 都大,所以落到最后。

en_US.UTF-8 按语言习惯排:忽略大小写差异,apple 和 Apple 相邻;重音字符按去掉重音后的字母排,eclair 和 Éclair 相邻;Zebra 老老实实排到最后。

这两种都对,问题是你的脚本假设了哪一种 。比如「取目录里第一个文件当默认配置」,在 C 下拿到 A.txt,在 en_US.UTF-8 下拿到 _x.txt。

glob 展开顺序跟着 locale 走

目录里放 5 个文件,zsh 的 * 展开和 ls 输出都跟着 LC_COLLATE 变:

bash 复制代码
# LC_ALL=C
A.txt
B.txt
Zebra.txt
_x.txt
apple.txt

# LC_ALL=en_US.UTF-8
_x.txt
A.txt
apple.txt
B.txt
Zebra.txt

【实测】zsh -c 'print -l -- *' 和 ls 在两种 locale 下输出一致,说明 glob 和 ls 都跟着 locale 的排序规则走。

_x.txt 从倒数第二跑到第一:C 按下划线 0x5F 的字节值排,它在大写字母(65--90)之后、小写(97--122)之前;en_US.UTF-8 里它直接排到了字母前面。具体权重规则我没查,只记录这个结果。

顺带一个本机细节:APFS 默认大小写不敏感,我在同一个目录里建 A.txt 再建 a.txt,只会得到同一个文件,所以上面只有 5 个条目。真正的大小写敏感卷上,这两个名字会共存,排序差异还会多一层。

写脚本时如果依赖 for f in *.log 的先后顺序,就别赌调用方的 locale:

bash 复制代码
export LC_ALL=C
for f in *.log; do ...; done

或者干脆在脚本开头 export LC_ALL=C,把环境的不确定性关掉。

cut -c 在 C locale 下切的是字节

这一条最容易在中文上炸。

bash 复制代码
printf '中文字符测试\n' > zh.txt
wc -c zh.txt          # 19
LC_ALL=C wc -m zh.txt # 19
LC_ALL=en_US.UTF-8 wc -m zh.txt  # 7

同一个文件,wc -m 在两种 locale 下给出 19 和 7,因为它一个按字节数,一个按字符数。

bash 复制代码
LC_ALL=C cut -c1-5 zh.txt | xxd
# 00000000: e4b8 ade6 960a

LC_ALL=en_US.UTF-8 cut -c1-5 zh.txt
# 中文字符测

C 下 cut -c 取前 5 个字节 :中(3 字节)+ 文 的前 2 字节,再加一个换行。这串东西不是合法 UTF-8,丢给前端就是乱码。

en_US.UTF-8 下取前 5 个字符 ,中文字符测,完整。

同理,${var:0:5}、sed 's/.\{5\}//' 这类按字符计数的写法,在 C locale 下都会退化成按字节:

bash 复制代码
LC_ALL=C bash -c 'v=中文字符测试; echo ${v:0:5}' | xxd
# e4b8 ade6 960a          (5 字节, 第 2 个汉字只剩 2/3)

LC_ALL=C sed 's/.\{5\}//' zh.txt | xxd
# 87e5 ad97 e7ac a6e6 b5 ...
# 从第二个汉字中间开始, 已经不是合法 UTF-8

【实测】在 C locale 下 zsh 的 ${v[1,5]} 同样按字节切(UTF-8 下它切的是 5 个字符)。要处理中文,LC_CTYPE 必须是 UTF-8 的。

怎么选:一张表

场景 建议 理由
只处理 ASCII,追求速度 LC_ALL=C 快 8 倍,顺序稳定可预测
输出要给人看、要符合语言习惯 目标语言的 *.UTF-8 忽略大小写、重音正确
要速度又要能切中文 LC_COLLATE=C LC_CTYPE=xx_XX.UTF-8 0.36 s,折中
脚本里依赖 glob / ls 顺序 显式 LC_ALL=C 否则机器不同、顺序不同
按字符截断中英文混排 LC_CTYPE 用 UTF-8 不然切出半个字符

三个可以直接抄进脚本的动作:

bash 复制代码
# 1. 纯 ASCII 的排序/去重,锁死 C
export LC_ALL=C

# 2. 需要 UTF-8 字符语义、但排序不在意语言习惯
export LC_COLLATE=C
export LC_CTYPE=en_US.UTF-8

# 3. 只对一条命令临时改,不污染整个脚本
LC_ALL=C sort huge.txt > sorted.txt

【实测】第 2 种配置下 sort 的输出和 LC_ALL=C 逐字节相同,cut -c 和 wc -m 则按 UTF-8 字符算。这两件事本来就是两个变量管的:LC_COLLATE 管排序,LC_CTYPE 管字符分类和宽度。

最后提醒一句:Python 的 str 排序按码位走,和 locale 无关;受 locale 影响的是 shell 工具、C 的 strcoll/strxfrm、以及依赖它们的程序。混着用时,别假设两边顺序一致。


数据取自 run.sh、exp2_shell_cut.sh 与 exp3_mix.sh 各一次完整执行(2026-11-16,本机 macOS 27.2.1)。输入文件是脚本自造的 100 万行随机小写字母(awk srand(7)),不是真实业务数据;每组 3 次,没有 profiling,机制部分为推测。

相关推荐
某哈压力大2 天前
SSH 突然 Connection reset?不是密钥坏了,是 OpenSSL 把 sshd 干趴了
前端·node.js·命令行
Thanks_ks2 天前
【第 008 讲】在终端中运行 Python 程序:交互模式与脚本模式 | 绝对路径与相对路径 | 以模块方式运行 | 常见报错的识别与排查
python·异常处理·终端·脚本·命令行·cmd·python 解释器
2601_967980113 天前
win10如何把python加入环境变量
python·win10·安装教程·命令行·环境变量
2601_9679801112 天前
如何用命令行执行python程序
命令行·虚拟环境·脚本文件·python程序·执行方法
小杨互联网15 天前
Go 现代 CLI 工具离线镜像合集
开发语言·后端·golang·开源·go·命令行
枣把儿19 天前
开源!全套公众号写作、封面、发布自动化工具包!
前端·命令行
死磕音视频23 天前
Codex CLI 入门:在终端里让 AI 读懂项目并完成一次小修改
openai·ai编程·命令行·codex
databook1 个月前
使用命令行做描述性统计的技巧
数据分析·命令行
iReachers1 个月前
Termux:把安卓手机变成随身的命令行工具箱
python·安卓·termux·命令行·实用工具