配置文件昨天还能读,今天启动就报 JSONDecodeError。打开文件,最后一个字段只写了一半。这时候修改 JSON 解析器没有用:问题出在上一次保存。
用 open(path, "w") 打开已有文件时,旧内容会立即被截断。假设写入的是上一次任务处理到的页码,一次失败就可能同时丢掉旧进度和新进度。可以把"写新内容"和"让读者看到新内容"拆成两步,旧文件留到最后一刻再替换。
给保存过程安排一次失败
下面的脚本只在临时目录里创建文件。两次写入都在同一个位置抛出异常,区别在于第一次直接打开正式文件,第二次先写同目录的临时文件。
python
import json
import os
import tempfile
from pathlib import Path
def write_data(stream, fail):
stream.write('{"page":')
if fail:
raise RuntimeError("interrupted")
stream.write("8}")
def save(path, atomic, fail):
tmp = None
try:
if atomic:
stream = tempfile.NamedTemporaryFile(
mode="w", encoding="utf-8", dir=path.parent, delete=False
)
tmp = Path(stream.name)
else:
stream = path.open("w", encoding="utf-8")
with stream:
write_data(stream, fail)
if tmp:
os.replace(tmp, path)
finally:
if tmp:
tmp.unlink(missing_ok=True)
with tempfile.TemporaryDirectory() as folder:
path = Path(folder) / "state.json"
for atomic in (False, True):
path.write_text('{"page":7}', encoding="utf-8")
try:
save(path, atomic, fail=True)
except RuntimeError:
pass
print(atomic, repr(path.read_text(encoding="utf-8")))
save(path, True, fail=False)
print(json.loads(path.read_text(encoding="utf-8")))
第一次会留下半截的 {"page":。第二次失败后,读到的仍是完整的第 7 页进度。最后一次成功,读者才看到第 8 页。这里刻意用异常模拟写入中断;如果进程被强制终止,临时文件也可能留在目录里,下一次启动不能把它当成已提交的进度。
为什么临时文件要放在旁边?
系统临时目录可能在另一个磁盘上。把文件从那里搬回项目目录,可能需要跨文件系统复制,失去一次替换的语义。用 dir=path.parent 可以让临时文件与目标位于同一目录。示例先关闭临时文件,再调用 os.replace,在 Windows 上也避免了临时文件自身仍被打开的问题。如果替换因权限或文件占用而失败,应保留错误并检查目标;此时不能向调用方报告保存成功。
它解决到哪里?
这适合配置、进度和小型索引等"每次整体更新"的文件。它让读者看到完整的旧版或新版。两个进程如果同时从第 7 页出发,各自写回结果,后完成的进程仍可能覆盖先完成的进程。需要合并并发更新时,得另外设计锁或数据库事务。对断电后也必须持久保存的数据,还要考虑文件与目录的持久化;上面的实验只验证写入异常时读者会看到什么。