同一个 JSON,Node 读出了三种坏法:Windows 上四种写法的编码实测

同一个 JSON,Node 读出了三种坏法:Windows 上四种写法的编码实测

先说结论

同一个内容完全一样的 JSON,在 Windows 上用四种常见写法落盘,Node 用 fs.readFileSync(path, 'utf8') 读回来,得到三种坏法:

第一种最要命------JSON.parse 不报错,字段名和值全变成乱码。脚本继续往下跑,把乱码当数据用,日志里一句异常都没有。

第二种和第三种会直接抛 SyntaxError,反而好查。

下面是我今天为了一个巡检脚本的「读不到数据」问题,实际跑出来的完整记录。所有输出都是原样复制的,没有修饰。

起因:一条「读不到数据」的巡检

巡检脚本要做的事很简单:PowerShell 侧采集几个状态,写成一个 JSON;Node 侧读进来,判断在线与否,再把结果写进台账。

可是第一次跑,Node 打印出来的对象是这样的:

text 复制代码
{"����":"�ܱ�","ƪ��":3}

JSON.parse 没抛错。Object.keys() 也能拿到两个键,只是键名是替换字符 U+FFFD。后续我用 obj.标题 去取值,拿到 undefined,脚本走进「字段缺失」的分支,默默把所有站点判成「未知」。

排查花了十几分钟,最后发现问题根本不在 JSON 结构上,而在写文件那一刻用的编码。

环境

text 复制代码
node -v
v22.22.2

node -p "process.platform + ' ' + process.arch"
win32 x64

$PSVersionTable.PSVersion.ToString()
5.1.26100.9818

Windows PowerShell 5.1 的默认输出编码和 PowerShell 7 不是一回事,这一点后面会咬人。

四种写法,四种字节

同一段内容 {"标题":"周报","篇数":3},用四种方式写进四个文件:

powershell 复制代码
$obj = '{"标题":"周报","篇数":3}'
Set-Content -Path a.json -Value $obj                                  # 默认
Set-Content -Path b.json -Value $obj -Encoding utf8                   # 指定 utf8
[System.IO.File]::WriteAllText("c.json", $obj,
  (New-Object System.Text.UTF8Encoding($false)))                      # UTF-8 无 BOM
$obj > d.json                                                         # 重定向运算符

然后读每个文件的前 8 个字节:

text 复制代码
a.json  len=26  head=7B 22 B1 EA CC E2 22 3A
b.json  len=35  head=EF BB BF 7B 22 E6 A0 87
c.json  len=30  head=7B 22 E6 A0 87 E9 A2 98
d.json  len=42  head=FF FE 7B 00 22 00 07 68

对着这四行,能直接读出四件事:

  • a.json:B1 EA 是「标」的 GBK 编码,CC E2 是「题」------Set-Content 不写编码参数时走的是系统 ANSI(本机 936),不是 UTF-8,也不带 BOM。
  • b.json:EF BB BF 是 UTF-8 BOM。-Encoding utf8 在 PowerShell 5.1 里是「UTF-8 带 BOM」,不是纯 UTF-8。
  • c.json:第一个字节直接就是 7B({),没有 BOM,后面是标准 UTF-8。
  • d.json:FF FE 是 UTF-16 LE BOM,字符之间夹着 00------重定向运算符 > 走的是 UTF-16 LE ,和 Set-Content 又不一样。

同一个 shell 里,三种写法产出三种编码。这就是问题的全部根因。

Node 读回来:三种坏法

用最普通的读法:

javascript 复制代码
const fs = require('fs');
for (const f of ['a.json','b.json','c.json','d.json']) {
  const s = fs.readFileSync(f, 'utf8');
  let parsed;
  try { parsed = JSON.stringify(JSON.parse(s)); }
  catch (e) { parsed = e.constructor.name + ': ' + e.message; }
  console.log(f, '| utf8 chars=' + s.length, '|', parsed);
}

实际输出:

text 复制代码
--- a.json | utf8 chars=24 ---
first codepoints: 007b 0022 fffd fffd fffd fffd 0022 003a ...
JSON.parse -> {"����":"�ܱ�","ƪ��":3}

--- b.json | utf8 chars=21 ---
first codepoints: feff 007b 0022 6807 9898 0022 003a ...
JSON.parse -> SyntaxError: Unexpected token '', "{"标题":"周报"... is not valid JSON

--- c.json | utf8 chars=18 ---
first codepoints: 007b 0022 6807 9898 0022 003a ...
JSON.parse -> {"标题":"周报","篇数":3}

--- d.json | utf8 chars=42 ---
first codepoints: fffd fffd 007b 0000 0022 0000 0007 0068 ...
JSON.parse -> SyntaxError: Unexpected token '�', "��{ " h��"... is not valid JSON

三件事值得单独拎出来讲。

一、GBK 字节被当成 UTF-8 解码,Node 不报错。 Buffer.toString('utf8') 遇到非法字节序列,默认行为是替换成 U+FFFD,不抛异常。所以 JSON.parse 拿到的仍是一个「结构合法」的字符串,只是内容已经烂了。这是三种坏法里唯一静默 的一种,也是最难查的一种:错误发生在解码层,症状却出现在业务层的 undefined。

二、BOM 会让 JSON.parse 直接失败。 注意报错里的 Unexpected token ''------那个看起来像空格的字符就是 U+FEFF。JSON 规范不允许 BOM,JSON.parse 严格照规范办。b.json 的内容本身完全正确,就因为前面多了三个字节,整份文件读不进来。

三、UTF-16 被当成 UTF-8,报错信息本身就是乱码。 d.json 的 42 个字符里一半是 U+0000。报错说 Unexpected token '�',可你从这行报错里根本看不出原文件其实是好的。

顺便一个可复现的细节:a.json 只有 26 字节,fs.readFileSync(..., 'utf8') 读出来却是 24 个字符------字节数比字符数多,正是因为多字节序列被替换成了单个 U+FFFD。

修法:先嗅 BOM,再试解

既然 BOM 是明确的信号,就先看头两个字节,再决定怎么解:

javascript 复制代码
const fs = require('fs');

function readSmart(p) {
  const buf = fs.readFileSync(p);
  if (buf[0] === 0xff && buf[1] === 0xfe) {
    return { enc: 'utf16le', text: buf.subarray(2).toString('utf16le') };
  }
  if (buf[0] === 0xef && buf[1] === 0xbb && buf[2] === 0xbf) {
    return { enc: 'utf8-bom', text: buf.subarray(3).toString('utf8') };
  }
  return { enc: 'utf8', text: buf.toString('utf8') };
}

跑同一组文件:

text 复制代码
a.json  | sniff= utf8      | {"����":"�ܱ�","ƪ��":3}
b.json  | sniff= utf8-bom  | {"标题":"周报","篇数":3}
c.json  | sniff= utf8      | {"标题":"周报","篇数":3}
d.json  | sniff= utf16le   | {"标题":"周报","篇数":3}

b 和 d 修好了,a 还是烂的------因为 ANSI 没有 BOM,嗅探不出来。这一步很重要:BOM 嗅探只解决「有 BOM 的两种」,解决不了「无 BOM 的 GBK」。如果误以为嗅探就够了,就会在下一次遇到 ANSI 文件时再踩一遍。

对无 BOM 的文件,可以用 fatal 模式先试 UTF-8,解不动再退到 GBK:

javascript 复制代码
const dec = new TextDecoder('utf8', { fatal: true });
try {
  dec.decode(fs.readFileSync('a.json'));
} catch (e) {
  console.log(e.constructor.name + ': ' + e.message);
}
text 复制代码
a.json utf8-fatal -> TypeError: The encoded data was not valid for encoding utf-8
c.json utf8-fatal -> {"标题":"周报","篇数":3}

fatal: true 让解码器在遇到非法字节时抛错而不是静默替换------这样「烂数据」会变成「异常」,至少能被 catch 住。本机 Node v22.22.2 是 full-icu 构建,GBK 解码器可以直接用:

javascript 复制代码
new TextDecoder('gbk').decode(fs.readFileSync('a.json'));
// -> {"标题":"周报","篇数":3}

但我并不建议把「猜编码」当成常规方案。更稳的做法是从源头掐掉:谁写文件,谁就显式声明编码。

反向也得管:Node 写、PowerShell 读

把方向反过来,一样会翻车。Node 用 fs.writeFileSync(p, s, 'utf8') 写一个无 BOM 的 UTF-8 文件,PowerShell 5.1 默认 Get-Content 会用 ANSI 去读:

powershell 复制代码
$raw = Get-Content .\e.json -Raw
PS raw len=24  content={"鏍囬":"宸℃","缁撴灉":"ok"}
$obj = $raw | ConvertFrom-Json
ConvertFrom-Json 标题= 结果=

两个坑叠在一起:中文变乱码,而且 ConvertFrom-Json 没报错,属性值是空的------和 Node 侧那个「静默损坏」是一模一样的性格。多了一个空属性的对象,比直接抛错难查得多。

加上 -Encoding UTF8 就正常:

powershell 复制代码
Get-Content .\e.json -Raw -Encoding UTF8
# -> {"标题":"巡检","结果":"ok"}

反过来读 UTF-16 的文件,要显式写 -Encoding Unicode:

powershell 复制代码
Get-Content .\d.json -Encoding Unicode
# -> {"标题":"周报","篇数":3}

五条踩坑清单

  1. Set-Content 不带 -Encoding 时是 ANSI,不是 UTF-8。 现象是 Node 读进来全是 U+FFFD;原因是本机代码页 936;处理办法是永远显式写编码,或改用 [IO.File]::WriteAllText + UTF8Encoding($false)。
  2. PowerShell 5.1 的 -Encoding utf8 带 BOM。 现象是 JSON.parse 报 Unexpected token '';原因是 BOM 三个字节 EF BB BF;处理办法是读取侧剥 BOM,或写入侧用 UTF8Encoding($false)。
  3. > 重定向是 UTF-16 LE。 现象是文件大小翻倍、报错信息本身是乱码;原因是 FF FE BOM;处理办法是别用 > 存结构化数据,用 Set-Content 或 .NET 方法。
  4. Buffer.toString('utf8') 不抛错,只替换。 现象是数据静默损坏、业务层出现 undefined;原因是默认非 fatal;处理办法是用 new TextDecoder('utf8', { fatal: true }) 让坏数据变成异常。
  5. ConvertFrom-Json 对乱码也不报错。 现象是对象属性全为空;原因同 4;处理办法是读之前显式 -Encoding UTF8,并校验关键字段是否存在。

带得走的三条规则

  • 不猜编码,只声明编码。 写文件的一方负责显式指定,读文件的一方负责校验;两端都不写「默认」。
  • 静默替换比抛错更危险。 所有跨进程传的结构化数据,解码时都开 fatal,让坏数据在边界上就炸掉,而不是流到业务层变成 undefined。
  • BOM 是信号,不是方案。 BOM 嗅探能救「有 BOM 的文件」,救不了「没有 BOM 的 ANSI」;真正的解法是让写入方不带 BOM 地写 UTF-8,读取方按声明读。

这个巡检脚本现在我加了三处:写文件统一走一个 writeJson(),固定 UTF-8 无 BOM;读文件统一走 readJson(),先嗅 BOM 再 fatal 试解;解析完校验必填字段,缺一个就抛错。改完后再跑,同一个目录下的历史文件全部能读------包括那个当初把我坑了十几分钟的 26 字节的 a.json。

相关推荐
ZANE8 分钟前
纯前端实现的 .gitignore 生成器技术实现
前端
小y的笔记17 分钟前
Vue 3 异步搜索实战:watch、请求取消与竞态控制
前端·javascript
sanxing三省39 分钟前
DeepSeek Harness 到底是什么?标题里最重的词其实不是「DeepSeek」
前端·人工智能·deepseek
jianqiang.xue40 分钟前
把Agent塞进MCU:工具次数和上下文长度怎么卡
java·前端·网络·单片机·esp32·ai编程
前端小万2 小时前
思考,行动,复盘|2026
前端·后端·面试
拖孩2 小时前
# 我又用 AI 做了个小程序:24 天,记录我这辈子认识的人
前端·后端·微信小程序
徐小夕2 小时前
深度拆解 Design Agent:LangChain 出品,AI 设计从「好看」走向「可用」
前端·vue.js·github
1-1=03 小时前
Vue 表单数据和过滤器
前端·javascript·vue.js
oil欧哟3 小时前
Oil UI 的设计思路与日常使用方式:让 AI 摆脱默认模板并保持多页面风格统一
前端