在 Python 中使用 JSON

了解如何在 Python 中使用 JSON，从基础到高级技术。本指南涵盖解析、序列化、API 集成和最佳实践。

1. JSON 简介

1.1. 什么是 JSON？

JSON（JavaScript 对象表示法）是一种轻量级数据交换格式，人类可以轻松读取和写入，机器也可以轻松解析和生成。虽然 JSON 源自 JavaScript，但它与语言无关，并且受到许多编程语言（包括 Python）的支持。

1.2. 为什么使用 JSON？

JSON 因其简单易读而成为 Web 数据交换的事实标准。无论使用 Web API还是在应用程序之间交换数据，JSON 通常都是首选格式。

在gis领域，基于json的基础上，开发出了geojson格式。

1.3. JSON 与其他数据格式

JSON 与 XML：与更为冗长的 XML 相比，JSON 更简洁且更易于使用。
JSON 与 YAML：YAML 通常被认为更易于人类阅读，但与 JSON 相比更容易出现解析错误。

2.在Python中读取和解析JSON

2.1.从字符串加载 JSON

要从字符串解析 JSON 数据，可以使用json.loads()函数。该函数将 JSON 格式的字符串转换为 Python 字典。

复制代码

import json

json_string = '{"name": "Hanmeimei", "age": 25, "city": "Guangzhou"}'
data = json.loads(json_string)
print(data) # {'name': 'Hanmeimei', 'age': 25, 'city': 'Guangzhou'}

2.2.从文件加载 JSON

还可以使用json.load()直接从文件加载 JSON 数据。

复制代码

import json

with open('data.json', 'r') as file:
    data = json.load(file)
    print(data)

处理JSON的错误

如果 JSON 数据格式错误，Python 将引发json.JSONDecodeError 。可以使用 try-except 块来处理此问题。

复制代码

import json

json_string = '{"name": "Hanmeimei", "age": 25 "city": "Guangzhou"}''  #  缺少逗号
try:
    data = json.loads(json_string)
except json.JSONDecodeError as e:
    print(f"Error decoding JSON: {e}")

3. 使用 JSON 数据

3.1.访问 JSON 对象中的数据

将 JSON 数据加载到 Python 字典中后，可以使用键轻松访问数据。

复制代码

import json

json_string = '{"name": "Hanmeimei", "age": 25, "city": "Guangzhou"}'
data = json.loads(json_string)

print(data['name'])  # Output: Hanmeimei
print(data['age'])   # Output: 25

3.2.嵌套的JSON

JSON 对象可以包含嵌套字典和列表。可以通过链接键和索引来访问嵌套数据。在geojson中经常遇到嵌套字典和列表。

复制代码

import json

nested_json = """{
    "person": {
        "name": "Hanmeimei",
        "address": {
            "city": "Guangzhou",
            "zipcode": "9999"
        }
    }
}"""

data = json.loads(nested_json)
print(data['person']['address']['city'])  # Output: Guangzhou

3.3.修改JSON

可以通过直接更改字典中的值来修改Python中的JSON数据。

复制代码

import json

json_string = '{"name": "Hanmeimei", "age": 25, "city": "Guangzhou"}'
data = json.loads(json_string)

data['age'] = 26
print(data['age'])  # Output: 26

3.4.常用操作

3.4.1 检查字典的键

可以使用 in 关键字检查 JSON 数据中是否存在某个键。

复制代码

if 'city' in data:
    print("没有找到城市")

3.4.2.迭代 JSON 对象

可以像使用字典一样迭代 JSON 对象。

复制代码

for key, value in data.items():
    print(f"{key}: {value}")

4.将Python对象转换为JSON

4.1.将 Python 对象序列化为 JSON

可以使用json.dumps()函数将 Python 对象（如字典、列表等）转换为 JSON 字符串。

复制代码

import json

data = {'name': 'Hanmeimei', 'age': 25, 'city': 'Guangzhou'}
json_string = json.dumps(data)
print(json_string) # {'name': 'Hanmeimei', 'age': 25, 'city': 'Guangzhou'}

4.2.将 JSON 写入文件

要将 JSON 数据写入文件，请使用json.dump()函数。

复制代码

with open('output.json', 'w') as file:
    json.dump(data, file)

4.3.自定义 JSON 编码

可以使用indent和sort_keys等参数自定义 JSON 编码的输出。

复制代码

import json

data = {'name': 'Hanmeimei', 'age': 25, 'city': 'Guangzhou'}

json_string = json.dumps(data, indent=4, sort_keys=True)
print(json_string)
#{
#    "age": 25,
#    "city": "Guangzhou",
#    "name": "Hanmeimei"
#}

5.进阶的JSON处理

5.1 自定义序列化：处理复杂数据类型

有时可能需要序列化默认情况下不可 JSON 序列化的 Python 对象，例如日期时间对象。可以使用json.dumps()中的default参数来处理此问题。

复制代码

import json
from datetime import datetime

def datetime_handler(x):
    if isinstance(x, datetime):
        return x.isoformat()
    raise TypeError("Unknown type")

data = {'name': 'Hanmeimei', 'date': datetime.now()}
json_string = json.dumps(data, default=datetime_handler)

print(json_string) # {"name": "Alice", "date": "2024-08-23T14:16:47.139272"}

5.2高效解析大型 JSON 文件

对于大型 JSON 文件，如果希望以节省内存的方式解析数据。像ijson这样的工具允许我们迭代地解析 JSON 文件。

复制代码

import ijson

with open('large_data.json', 'r') as file:
    for item in ijson.items(file, 'item'):
        print(item)

6. 使用 API：发送和接收 JSON

6.1.从 REST API 使用 JSON 数据

使用 API 时，如果需要使用 JSON 数据。以下是使用requests库执行此操作的方法。

复制代码

import requests

response = requests.get('https://api.example.com/data')
data = response.json()
print(data)

6.2.通过 HTTP 请求发送 JSON 数据

要在 POST 请求中发送 JSON 数据，可以在requests.post()方法中使用json参数。

复制代码

import requests

data = {'name': 'Hanmeimei', 'age': 25}
response = requests.post('https://api.example.com/submit', json=data)
print(response.status_code)

6.3.API 请求中的错误处理

使用 API 时，请务必检查响应状态并处理潜在的错误。

复制代码

if response.status_code == 200:
    print("Success")
else:
    print("Failed")

7. 常见错误和实际操作

7.1.常见错误

格式错误的 JSON ：确保 JSON 字符串格式正确，语法正确，例如匹配大括号和正确使用逗号。

不正确的数据类型：JSON 需要特定的数据类型（例如字符串、数字、布尔值）。确保数据类型与预期架构匹配。

键错误：访问 JSON 对象中不存在的键可能会导致错误。在访问之前始终检查密钥是否存在。

JSONDecodeError ：尝试解码格式不正确的 JSON 字符串时会发生这种情况。使用 try- except 块来处理它。

大型 JSON 文件：将大型 JSON 文件完全加载到内存中可能会导致内存问题。考虑使用流式或迭代解析方法。

字符编码问题：确保 JSON 数据正确编码和解码，尤其是在使用非 ASCII 字符时。

可变默认参数：在处理 JSON 的函数中将可变对象（如列表或字典）作为默认参数传递时，可能会导致意外行为。

7.2.实际操作

处理前验证 JSON ：始终根据架构验证 JSON 数据，以确保其满足预期标准。

使用 try- except 进行错误处理：实现错误处理以优雅地管理 JSONDecodeError 和 KeyError 等问题。

流式传输大型 JSON 文件 ：对于非常大的 JSON 文件，请使用ijson等流式库以避免内存问题。

缩进和排序键以提高可读性：序列化 JSON 时使用缩进和键排序，以提高可读性和调试性。

复杂类型的自定义序列化：为复杂的 Python 对象（例如日期或自定义类）实现自定义序列化函数。

使用"in"关键字进行安全密钥访问 ：在访问 JSON 对象中的密钥之前，请使用in关键字检查其是否存在。

一致的字符编码：在处理 JSON 数据时，尤其是在不同系统之间，确保字符编码的一致性（UTF-8 是标准）。

避免可变默认参数：定义处理 JSON 的函数时，避免使用可变对象作为默认参数，以防止意外的副作用。

保持 JSON 文件版本化：如果依赖于 JSON 配置或数据，请将其版本化以跟踪更改并保持一致性。

使用外部库优化性能 ：在性能至关重要时，使用ujson或python-rapidjson等优化库来加快 JSON 解析和序列化速度。

8. JSON Schema 和规范

JSON Schema 是一种用于描述 JSON 数据结构的规范。它允许开发者定义 JSON 数据的结构和约束条件，从而可以验证 JSON 数据是否符合预期的模式。JSON Schema 本身也是 JSON 格式的数据。

8.1. 验证

可以使用jsonschema等库来根据架构验证 JSON 数据。

复制代码

from jsonschema import validate

schema = {
    "type": "object",
    "properties": {
        "name": {"type": "string"},
        "age": {"type": "integer"}
    },
}

data = {"name": "Hanmeimei", "age": 25}
validate(instance=data, schema=schema)

8.2.用于 JSON 架构验证的工具和库

有几个工具和库可以帮助我们验证 JSON，例如jsonschema 、 pydantic和marshmallow 。

9. 结论

在本指南中，我们探索了在 Python 中使用 JSON 的基础知识，从基本的解析和序列化到处理大文件和使用 JSON 架构验证数据等高级技术。掌握这些技能对于 Web 开发和其他 Python 应用程序中的高效数据交换至关重要。不断练习和探索其他工具以进一步增强我们的 JSON 处理能力。