同一个 JSON,Node 读出了三种坏法:Windows 上四种写法的编码实测
先说结论
同一个内容完全一样的 JSON,在 Windows 上用四种常见写法落盘,Node 用 fs.readFileSync(path, 'utf8') 读回来,得到三种坏法:
第一种最要命------JSON.parse 不报错,字段名和值全变成乱码。脚本继续往下跑,把乱码当数据用,日志里一句异常都没有。
第二种和第三种会直接抛 SyntaxError,反而好查。
下面是我今天为了一个巡检脚本的「读不到数据」问题,实际跑出来的完整记录。所有输出都是原样复制的,没有修饰。
起因:一条「读不到数据」的巡检
巡检脚本要做的事很简单:PowerShell 侧采集几个状态,写成一个 JSON;Node 侧读进来,判断在线与否,再把结果写进台账。
可是第一次跑,Node 打印出来的对象是这样的:
text
{"����":"�ܱ�","ƪ��":3}
JSON.parse 没抛错。Object.keys() 也能拿到两个键,只是键名是替换字符 U+FFFD。后续我用 obj.标题 去取值,拿到 undefined,脚本走进「字段缺失」的分支,默默把所有站点判成「未知」。
排查花了十几分钟,最后发现问题根本不在 JSON 结构上,而在写文件那一刻用的编码。
环境
text
node -v
v22.22.2
node -p "process.platform + ' ' + process.arch"
win32 x64
$PSVersionTable.PSVersion.ToString()
5.1.26100.9818
Windows PowerShell 5.1 的默认输出编码和 PowerShell 7 不是一回事,这一点后面会咬人。
四种写法,四种字节
同一段内容 {"标题":"周报","篇数":3},用四种方式写进四个文件:
powershell
$obj = '{"标题":"周报","篇数":3}'
Set-Content -Path a.json -Value $obj # 默认
Set-Content -Path b.json -Value $obj -Encoding utf8 # 指定 utf8
[System.IO.File]::WriteAllText("c.json", $obj,
(New-Object System.Text.UTF8Encoding($false))) # UTF-8 无 BOM
$obj > d.json # 重定向运算符
然后读每个文件的前 8 个字节:
text
a.json len=26 head=7B 22 B1 EA CC E2 22 3A
b.json len=35 head=EF BB BF 7B 22 E6 A0 87
c.json len=30 head=7B 22 E6 A0 87 E9 A2 98
d.json len=42 head=FF FE 7B 00 22 00 07 68
对着这四行,能直接读出四件事:
a.json:B1 EA是「标」的 GBK 编码,CC E2是「题」------Set-Content不写编码参数时走的是系统 ANSI(本机 936),不是 UTF-8,也不带 BOM。b.json:EF BB BF是 UTF-8 BOM。-Encoding utf8在 PowerShell 5.1 里是「UTF-8 带 BOM」,不是纯 UTF-8。c.json:第一个字节直接就是7B({),没有 BOM,后面是标准 UTF-8。d.json:FF FE是 UTF-16 LE BOM,字符之间夹着00------重定向运算符>走的是 UTF-16 LE ,和Set-Content又不一样。
同一个 shell 里,三种写法产出三种编码。这就是问题的全部根因。
Node 读回来:三种坏法
用最普通的读法:
javascript
const fs = require('fs');
for (const f of ['a.json','b.json','c.json','d.json']) {
const s = fs.readFileSync(f, 'utf8');
let parsed;
try { parsed = JSON.stringify(JSON.parse(s)); }
catch (e) { parsed = e.constructor.name + ': ' + e.message; }
console.log(f, '| utf8 chars=' + s.length, '|', parsed);
}
实际输出:
text
--- a.json | utf8 chars=24 ---
first codepoints: 007b 0022 fffd fffd fffd fffd 0022 003a ...
JSON.parse -> {"����":"�ܱ�","ƪ��":3}
--- b.json | utf8 chars=21 ---
first codepoints: feff 007b 0022 6807 9898 0022 003a ...
JSON.parse -> SyntaxError: Unexpected token '', "{"标题":"周报"... is not valid JSON
--- c.json | utf8 chars=18 ---
first codepoints: 007b 0022 6807 9898 0022 003a ...
JSON.parse -> {"标题":"周报","篇数":3}
--- d.json | utf8 chars=42 ---
first codepoints: fffd fffd 007b 0000 0022 0000 0007 0068 ...
JSON.parse -> SyntaxError: Unexpected token '�', "��{ " h��"... is not valid JSON
三件事值得单独拎出来讲。
一、GBK 字节被当成 UTF-8 解码,Node 不报错。 Buffer.toString('utf8') 遇到非法字节序列,默认行为是替换成 U+FFFD,不抛异常。所以 JSON.parse 拿到的仍是一个「结构合法」的字符串,只是内容已经烂了。这是三种坏法里唯一静默 的一种,也是最难查的一种:错误发生在解码层,症状却出现在业务层的 undefined。
二、BOM 会让 JSON.parse 直接失败。 注意报错里的 Unexpected token ''------那个看起来像空格的字符就是 U+FEFF。JSON 规范不允许 BOM,JSON.parse 严格照规范办。b.json 的内容本身完全正确,就因为前面多了三个字节,整份文件读不进来。
三、UTF-16 被当成 UTF-8,报错信息本身就是乱码。 d.json 的 42 个字符里一半是 U+0000。报错说 Unexpected token '�',可你从这行报错里根本看不出原文件其实是好的。
顺便一个可复现的细节:a.json 只有 26 字节,fs.readFileSync(..., 'utf8') 读出来却是 24 个字符------字节数比字符数多,正是因为多字节序列被替换成了单个 U+FFFD。
修法:先嗅 BOM,再试解
既然 BOM 是明确的信号,就先看头两个字节,再决定怎么解:
javascript
const fs = require('fs');
function readSmart(p) {
const buf = fs.readFileSync(p);
if (buf[0] === 0xff && buf[1] === 0xfe) {
return { enc: 'utf16le', text: buf.subarray(2).toString('utf16le') };
}
if (buf[0] === 0xef && buf[1] === 0xbb && buf[2] === 0xbf) {
return { enc: 'utf8-bom', text: buf.subarray(3).toString('utf8') };
}
return { enc: 'utf8', text: buf.toString('utf8') };
}
跑同一组文件:
text
a.json | sniff= utf8 | {"����":"�ܱ�","ƪ��":3}
b.json | sniff= utf8-bom | {"标题":"周报","篇数":3}
c.json | sniff= utf8 | {"标题":"周报","篇数":3}
d.json | sniff= utf16le | {"标题":"周报","篇数":3}
b 和 d 修好了,a 还是烂的------因为 ANSI 没有 BOM,嗅探不出来。这一步很重要:BOM 嗅探只解决「有 BOM 的两种」,解决不了「无 BOM 的 GBK」。如果误以为嗅探就够了,就会在下一次遇到 ANSI 文件时再踩一遍。
对无 BOM 的文件,可以用 fatal 模式先试 UTF-8,解不动再退到 GBK:
javascript
const dec = new TextDecoder('utf8', { fatal: true });
try {
dec.decode(fs.readFileSync('a.json'));
} catch (e) {
console.log(e.constructor.name + ': ' + e.message);
}
text
a.json utf8-fatal -> TypeError: The encoded data was not valid for encoding utf-8
c.json utf8-fatal -> {"标题":"周报","篇数":3}
fatal: true 让解码器在遇到非法字节时抛错而不是静默替换------这样「烂数据」会变成「异常」,至少能被 catch 住。本机 Node v22.22.2 是 full-icu 构建,GBK 解码器可以直接用:
javascript
new TextDecoder('gbk').decode(fs.readFileSync('a.json'));
// -> {"标题":"周报","篇数":3}
但我并不建议把「猜编码」当成常规方案。更稳的做法是从源头掐掉:谁写文件,谁就显式声明编码。
反向也得管:Node 写、PowerShell 读
把方向反过来,一样会翻车。Node 用 fs.writeFileSync(p, s, 'utf8') 写一个无 BOM 的 UTF-8 文件,PowerShell 5.1 默认 Get-Content 会用 ANSI 去读:
powershell
$raw = Get-Content .\e.json -Raw
PS raw len=24 content={"鏍囬":"宸℃","缁撴灉":"ok"}
$obj = $raw | ConvertFrom-Json
ConvertFrom-Json 标题= 结果=
两个坑叠在一起:中文变乱码,而且 ConvertFrom-Json 没报错,属性值是空的------和 Node 侧那个「静默损坏」是一模一样的性格。多了一个空属性的对象,比直接抛错难查得多。
加上 -Encoding UTF8 就正常:
powershell
Get-Content .\e.json -Raw -Encoding UTF8
# -> {"标题":"巡检","结果":"ok"}
反过来读 UTF-16 的文件,要显式写 -Encoding Unicode:
powershell
Get-Content .\d.json -Encoding Unicode
# -> {"标题":"周报","篇数":3}
五条踩坑清单
Set-Content不带-Encoding时是 ANSI,不是 UTF-8。 现象是 Node 读进来全是U+FFFD;原因是本机代码页 936;处理办法是永远显式写编码,或改用[IO.File]::WriteAllText+UTF8Encoding($false)。- PowerShell 5.1 的
-Encoding utf8带 BOM。 现象是JSON.parse报Unexpected token '';原因是 BOM 三个字节EF BB BF;处理办法是读取侧剥 BOM,或写入侧用UTF8Encoding($false)。 >重定向是 UTF-16 LE。 现象是文件大小翻倍、报错信息本身是乱码;原因是FF FEBOM;处理办法是别用>存结构化数据,用Set-Content或 .NET 方法。Buffer.toString('utf8')不抛错,只替换。 现象是数据静默损坏、业务层出现undefined;原因是默认非 fatal;处理办法是用new TextDecoder('utf8', { fatal: true })让坏数据变成异常。ConvertFrom-Json对乱码也不报错。 现象是对象属性全为空;原因同 4;处理办法是读之前显式-Encoding UTF8,并校验关键字段是否存在。
带得走的三条规则
- 不猜编码,只声明编码。 写文件的一方负责显式指定,读文件的一方负责校验;两端都不写「默认」。
- 静默替换比抛错更危险。 所有跨进程传的结构化数据,解码时都开
fatal,让坏数据在边界上就炸掉,而不是流到业务层变成undefined。 - BOM 是信号,不是方案。 BOM 嗅探能救「有 BOM 的文件」,救不了「没有 BOM 的 ANSI」;真正的解法是让写入方不带 BOM 地写 UTF-8,读取方按声明读。
这个巡检脚本现在我加了三处:写文件统一走一个 writeJson(),固定 UTF-8 无 BOM;读文件统一走 readJson(),先嗅 BOM 再 fatal 试解;解析完校验必填字段,缺一个就抛错。改完后再跑,同一个目录下的历史文件全部能读------包括那个当初把我坑了十几分钟的 26 字节的 a.json。