当你爬着数据,程序突然报JSON格式化异常...(论如何修复异常的JSON)

引文

日常数据采集容易遇到异常的JSON数据,如:

括号不闭合{"profile": {"name": "xx", "age": 20}

没有引号{name: python, age: 20, salary: "python, }

反斜杠异常{"name": "python", "age": 20, "salary: "\"python\\""}

等等等等,之前基本都是使用正则匹配的方式提取关键文本,但是过于耗费时间了。

JSON-Repair

JSON-Repair是一个用于修复损坏或无效的JSON数据的库。它可以帮助你解决由于格式错误、缺失标记或其他问题导致的JSON数据无法解析的问题。

  1. 安装json-repair库:

    使用以下命令在你的Python环境中安装json-repair库:

    复制代码
    pip install json-repair
  2. 导入json-repair库:

    python 复制代码
    import json_repair
  3. 接口使用:

    json_repair提供了loads接口来加载异常数据

    python 复制代码
     invalid_json = '[{"name": "John", "age": 25}, {"name": "Mike", "age": 30]'
     repaired_json = json_repair.loads(invalid_json)
  4. 错误处理:

    如果JSON数据无法修复,repair函数将引发一个json_repair.JsonRepairError异常。你可以使用try-except语句来处理该异常并执行相应的操作。下面是一个示例代码:

    python 复制代码
    json_data = '{"name": "John", "age: 30, "city": "New York"}'
    try:
        repaired_json = json_repair.loads(json_data)
        print(repaired_json)
    except json_repair.JsonRepairError as e:
        print(f"JSON repair failed: {e}")
  5. 进一步的修复选项:

    json-repair库还提供了其他修复选项,例如指定修复级别、指定修复策略等。你可以在json_repair的文档中查找更多细节,并根据你的需求进行相应的配置。

使用案例:

  1. 解析无效的JSON数据:
python 复制代码
import json_repair

invalid_json = '[{"name": "John", "age": 25}, {"name": "Mike", "age": 30]'
parsed_data= json_repair.loads(invalid_json)
print(parsed_data)
  1. 修复缺失的JSON标记:
python 复制代码
import json_repair

missing_token_json = '{"name": "John", "age": 25, "city": "New York"}'
parsed_data= json_repair.loads(missing_token_json)
print(parsed_data)
  1. 修复格式错误的JSON数据:
python 复制代码
import json_repair

malformed_json = '{name: "John", age: 25, city: "New York"}'
parsed_data= json_repair.loads(malformed_json)
print(parsed_data)
相关推荐
武帝为此27 分钟前
【数据清洗缺失值处理】
python·算法·数学建模
zhangchaoxies1 小时前
如何在 Go 中安全复制接口指针所指向的值
jvm·数据库·python
曲幽1 小时前
FastAPI + Pydantic 模型终极实战手册:从能跑就行到固若金汤,这些技巧你一定用得上
python·fastapi·web·model·field·pydantic·validator·basemodel
计算机软件程序设计2 小时前
Python Flask工程目录解读
python·flask·工程目录解读
Ares-Wang2 小时前
Flask》》 Flask-OpenID 认证、 OpenID Connect (OIDC)
后端·python·flask
-Marks-2 小时前
【C++编程】STL简介 --- (是什么 | 版本发展历程 | 六大组件 | 重要性缺陷以及如何学习)
开发语言·c++·学习·stl·stl版本
m0_734949792 小时前
怎么利用Navicat进行调整备份文件压缩等级_详细配置与操作步骤
jvm·数据库·python
m0_741173333 小时前
如何处理SQL中的NULL值_使用ISNULL或COALESCE函数
jvm·数据库·python
AC赳赳老秦3 小时前
OpenClaw进阶技巧:批量修改文件内容、替换关键词,解放双手
java·linux·人工智能·python·算法·测试用例·openclaw
步辞3 小时前
css伪类选择器-nth-child应用技巧_循环选择列表或表格行的实现方法
jvm·数据库·python