同一份文件、同一条 sort 命令,换个环境变量,耗时从 0.14 秒变成 1.42 秒。locale 不只是影响中文显示,它同时决定了排序速度、排序结果、以及 cut -c 到底切字节还是切字符。
三条事实来自本机 macOS 27.2.1(Build 26B131)、arm64、系统自带 sort:
- 【实测】100 万行、每行 4 个小写字母(共 5,000,000 字节,awk 固定种子 srand(7) 生成),
LC_ALL=C下sort三次 0.15/0.14/0.14 秒;en_US.UTF-8下 1.21/1.23/1.12 秒;zh_CN.UTF-8下 1.42/1.42/1.41 秒。 - 【实测】同一批数据,
LC_COLLATE=C配LC_CTYPE=en_US.UTF-8,三次 0.36/0.38/0.36 秒。排序顺序和LC_ALL=C完全一致,cmp输出 ORDER SAME。 - 【实测】
中文字符测试\n是 19 字节、7 个字符。LC_ALL=C wc -m报 19,en_US.UTF-8报 7;LC_ALL=C cut -c1-5只取出e4 b8 ad e6 96五个字节,第二个汉字只剩前 2 个字节。
慢的不是 UTF-8,是排序规则
直觉会说:UTF-8 是多字节编码,解码当然慢。数据不支持这个解释。
en_US.US-ASCII 是单字节编码,不存在多字节解码,sort 同样要 1.27/1.32/1.31 秒。en_US.ISO8859-1 也是单字节,1.35/1.33/1.35 秒。这两个都不比 UTF-8 快。
反过来,把 LC_COLLATE 单独钉回 C、只让 LC_CTYPE 用 UTF-8,耗时掉到 0.36 秒------顺序还和 C 一模一样。也就是说,贵的那部分在 collation(排序规则),不在字符解码。
【实测】六种配置,各跑 3 次:
| 配置 | 第 1 次 | 第 2 次 | 第 3 次 |
|---|---|---|---|
LC_ALL=C |
0.15 s | 0.14 s | 0.14 s |
LC_ALL=en_US.UTF-8 |
1.21 s | 1.23 s | 1.12 s |
LC_ALL=zh_CN.UTF-8 |
1.42 s | 1.42 s | 1.41 s |
LC_ALL=en_US.US-ASCII |
1.27 s | 1.32 s | 1.31 s |
LC_ALL=en_US.ISO8859-1 |
1.35 s | 1.33 s | 1.35 s |
LC_COLLATE=C LC_CTYPE=en_US.UTF-8 |
0.36 s | 0.38 s | 0.36 s |
中位数算,en_US.UTF-8 是 C 的 8.6 倍,zh_CN.UTF-8 是 10 倍。这个倍数只对「100 万行纯小写 a--z」成立,换数据规模、换字符集都会变。
机制部分是推测,我没做 profiling:C 的 collation 是按字节比大小;en_US、zh_CN 这类 locale 要走 strcoll,把两个字符映射到权重表再逐级比较(primary / secondary / tertiary),每次比较都是多次查表。行越短、比较次数越多,差距越明显。本机 sort 具体用的哪套实现,我没查。
这条推测能被上面的对照组证伪一半:如果慢在解码,单字节 locale 不该慢;如果慢在查表,把 LC_COLLATE 换回 C 就该快。两次都符合后一种。
顺序也变了,而且只在你看得见的地方变
纯小写 a--z 的 100 万行,LC_ALL=C 和 en_US.UTF-8 的输出 cmp 完全一致。
换一组混了大小写和重音的样本,差别立刻出来:
text
LC_ALL=C LC_ALL=en_US.UTF-8
Apple apple
Zebra Apple
apple banana
banana eclair
eclair Éclair
Éclair Zebra
C 按字节值排:大写字母(65--90)全部排在小写(97--122)前面,É 的首字节 C3 比所有 ASCII 都大,所以落到最后。
en_US.UTF-8 按语言习惯排:忽略大小写差异,apple 和 Apple 相邻;重音字符按去掉重音后的字母排,eclair 和 Éclair 相邻;Zebra 老老实实排到最后。
这两种都对,问题是你的脚本假设了哪一种 。比如「取目录里第一个文件当默认配置」,在 C 下拿到 A.txt,在 en_US.UTF-8 下拿到 _x.txt。
glob 展开顺序跟着 locale 走
目录里放 5 个文件,zsh 的 * 展开和 ls 输出都跟着 LC_COLLATE 变:
bash
# LC_ALL=C
A.txt
B.txt
Zebra.txt
_x.txt
apple.txt
# LC_ALL=en_US.UTF-8
_x.txt
A.txt
apple.txt
B.txt
Zebra.txt
【实测】zsh -c 'print -l -- *' 和 ls 在两种 locale 下输出一致,说明 glob 和 ls 都跟着 locale 的排序规则走。
_x.txt 从倒数第二跑到第一:C 按下划线 0x5F 的字节值排,它在大写字母(65--90)之后、小写(97--122)之前;en_US.UTF-8 里它直接排到了字母前面。具体权重规则我没查,只记录这个结果。
顺带一个本机细节:APFS 默认大小写不敏感,我在同一个目录里建 A.txt 再建 a.txt,只会得到同一个文件,所以上面只有 5 个条目。真正的大小写敏感卷上,这两个名字会共存,排序差异还会多一层。
写脚本时如果依赖 for f in *.log 的先后顺序,就别赌调用方的 locale:
bash
export LC_ALL=C
for f in *.log; do ...; done
或者干脆在脚本开头 export LC_ALL=C,把环境的不确定性关掉。
cut -c 在 C locale 下切的是字节
这一条最容易在中文上炸。
bash
printf '中文字符测试\n' > zh.txt
wc -c zh.txt # 19
LC_ALL=C wc -m zh.txt # 19
LC_ALL=en_US.UTF-8 wc -m zh.txt # 7
同一个文件,wc -m 在两种 locale 下给出 19 和 7,因为它一个按字节数,一个按字符数。
bash
LC_ALL=C cut -c1-5 zh.txt | xxd
# 00000000: e4b8 ade6 960a
LC_ALL=en_US.UTF-8 cut -c1-5 zh.txt
# 中文字符测
C 下 cut -c 取前 5 个字节 :中(3 字节)+ 文 的前 2 字节,再加一个换行。这串东西不是合法 UTF-8,丢给前端就是乱码。
en_US.UTF-8 下取前 5 个字符 ,中文字符测,完整。
同理,${var:0:5}、sed 's/.\{5\}//' 这类按字符计数的写法,在 C locale 下都会退化成按字节:
bash
LC_ALL=C bash -c 'v=中文字符测试; echo ${v:0:5}' | xxd
# e4b8 ade6 960a (5 字节, 第 2 个汉字只剩 2/3)
LC_ALL=C sed 's/.\{5\}//' zh.txt | xxd
# 87e5 ad97 e7ac a6e6 b5 ...
# 从第二个汉字中间开始, 已经不是合法 UTF-8
【实测】在 C locale 下 zsh 的 ${v[1,5]} 同样按字节切(UTF-8 下它切的是 5 个字符)。要处理中文,LC_CTYPE 必须是 UTF-8 的。
怎么选:一张表
| 场景 | 建议 | 理由 |
|---|---|---|
| 只处理 ASCII,追求速度 | LC_ALL=C |
快 8 倍,顺序稳定可预测 |
| 输出要给人看、要符合语言习惯 | 目标语言的 *.UTF-8 |
忽略大小写、重音正确 |
| 要速度又要能切中文 | LC_COLLATE=C LC_CTYPE=xx_XX.UTF-8 |
0.36 s,折中 |
脚本里依赖 glob / ls 顺序 |
显式 LC_ALL=C |
否则机器不同、顺序不同 |
| 按字符截断中英文混排 | LC_CTYPE 用 UTF-8 |
不然切出半个字符 |
三个可以直接抄进脚本的动作:
bash
# 1. 纯 ASCII 的排序/去重,锁死 C
export LC_ALL=C
# 2. 需要 UTF-8 字符语义、但排序不在意语言习惯
export LC_COLLATE=C
export LC_CTYPE=en_US.UTF-8
# 3. 只对一条命令临时改,不污染整个脚本
LC_ALL=C sort huge.txt > sorted.txt
【实测】第 2 种配置下 sort 的输出和 LC_ALL=C 逐字节相同,cut -c 和 wc -m 则按 UTF-8 字符算。这两件事本来就是两个变量管的:LC_COLLATE 管排序,LC_CTYPE 管字符分类和宽度。
最后提醒一句:Python 的 str 排序按码位走,和 locale 无关;受 locale 影响的是 shell 工具、C 的 strcoll/strxfrm、以及依赖它们的程序。混着用时,别假设两边顺序一致。
数据取自 run.sh、exp2_shell_cut.sh 与 exp3_mix.sh 各一次完整执行(2026-11-16,本机 macOS 27.2.1)。输入文件是脚本自造的 100 万行随机小写字母(awk srand(7)),不是真实业务数据;每组 3 次,没有 profiling,机制部分为推测。