JSON (JavaScript Object Notation),由 RFC 7159 (它取代了 RFC 4627) 和 ECMA-404 指定,是一个受 JavaScript 的对象字面值句法启发的轻量级数据交换格式。JSON独立于编程语言的文本格式来存储和表示数据,现在大部分的数据传输基本使用的都是json格式,经常要从json里面拿到自己想要的数据也就是解析json,python提供了工具帮助我们解析json。
json简介
json就是一串表达数据的字符串,字符串有一定的语法规则约束:
- json表达的数据是键值数据,与python中的dict十分相识;
- 数据项之间使用逗号分割;
- 使用斜杆来转义\字符
- 数据项的值支持整数、浮点数、字符串、逻辑值,null等
- 数据项的值支持数组,数组数据使用中括号括起来
- 多个数据项可以组合成一个对象,对象数据使用大括号括起来。
javascript
{
"name": "Kamishiro Rize",
"age": 22,
"occupation": "firefighter",
"traits": [
"Eagle Eyed",
"Fast Healer",
"High Thirst",
"Hearty Appetite"
]
}
JSON 与 Python 的数据结构和对应关系如下:
JSON | Python |
---|---|
object | dict |
array | list,tuple |
string | str,unicode |
number (int) | int, long |
number (real) | float |
true | True |
false | False |
null | None |
解析json
json.loads(s , * , cls=None , object_hook=None , parse_float=None , parse_int=None , parse_constant=None , object_pairs_hook=None , **kw)
将字符串解析为python对象
参数说明:
- s:一个包含 JSON 文档的 str, bytes 或 bytearray 对象
- cls:解析器,默认是JSONDecoder ,也可以使用自定义的JSONDecoder子类作为解析器
- object_hook 是一个将附带任意已解码的对象字面值 (即 dict) 来调用的可选函。object_hook 的返回值会代替 dict 使用。 此特性可被用于实现自定义解码器 (例如 JSON-RPC 的类型提示)。
- object_pairs_hook 是一个可选的函数,它会被调用于每一个有序列表对解码出的对象字面量。 object_pairs_hook 的返回值将会取代原本的 dict 。这一特性能够被用于实现自定义解码器。如果 object_hook 也被定义, object_pairs_hook 优先。
- parse_float ,如果指定,将与每个要解码 JSON 浮点数的字符串一同调用。默认状态下,相当于 float(num_str) 。可以用于对 JSON 浮点数使用其它数据类型和语法分析程序 (比如 decimal.Decimal )。
- parse_int ,如果指定,将与每个要解码 JSON 整数的字符串一同调用。默认状态下,相当于 int(num_str) 。可以用于对 JSON 整数使用其它数据类型和语法分析程序 (比如 float )。
- parse_constant ,如果指定,将要与以下字符串中的一个一同调用:
'-Infinity'
,'Infinity'
,'NaN'
。如果遇到无效的 JSON 数字则可以使用它引发异常。
python
import json
jsonstr = '{ \
"name": "Kamishiro Rize",\
"age": 22,\
"occupation": "firefighter",\
"traits": [\
"Eagle Eyed",\
"Fast Healer",\
"High Thirst",\
"Hearty Appetite"\
]\
}'
# print(jsonstr)
jo = json.loads(jsonstr)
print(type(jo))
print(jo)
'''
<class 'dict'>
{'name': 'Kamishiro Rize', 'age': 22, 'occupation': 'firefighter', 'traits': ['Eagle Eyed', 'Fast Healer', 'High Thirst', 'Hearty Appetite']}
'''
上面的例子可以看出,json字符串被解析为一个dict的对象。具体json是如何解析的,是由JSONDecoder来实现的。
解码器JSONDecoder
class json.JSONDecoder(* , object_hook=None , parse_float=None , parse_int=None , parse_constant=None , strict=True , object_pairs_hook=None)
解码器的参数和解析函数的参数大部分相同,相同的部分含义也一致。
默认情况下,解码执行以下翻译:
JSON | Python |
---|---|
object -- 对象 | dict |
array | list |
string | str |
number (int) | int |
number (real) | float |
true | True |
false | False |
null | None |
它还将"NaN"、"Infinity"和"-Infinity"理解为它们对应的"float"值,这超出了JSON规范。
主要的方法有:
decode(s)
解析s,如果给定的 JSON 文档无效则将引发 JSONDecodeError。
raw_decode(s)
从 s 中解码出 JSON 文档(以 JSON 文档开头的一个 str 对象)并返回一个 Python 表示形式为 2 元组以及指明该文档在 s 中结束位置的序号。
这可以用于从一个字符串解码JSON文档,该字符串的末尾可能有无关的数据。
解析json文件
json.load(fp , * , cls=None , object_hook=None , parse_float=None , parse_int=None , parse_constant=None , object_pairs_hook=None , **kw)
对json文件fp进行解析(fp对象要支持read()方法),其他参数与loads完全一致。
生成json
json.dumps(obj , * , skipkeys=False , ensure_ascii=True , check_circular=True , allow_nan=True , cls=None , indent=None , separators=None , default=None , sort_keys=False , **kw)
将一个python对象生成json的str对象。
参数说明:
- obj:待生成json串的python对象;
- skipkeys:如果 skipkeys 是 true (默认为 False),那么那些不是基本对象(包括 str, int、float、bool、None)的字典的键会被跳过;否则引发一个 TypeError。
- ensure_ascii:如果 ensure_ascii 是 true (即默认值),输出保证将所有输入的非 ASCII 字符转义。如果 ensure_ascii 是 false,这些字符会原样输出。
- check_circular:如果 check_circular 为假值 (默认值: True),那么容器类型的循环引用检查会被跳过并且循环引用会引发 RecursionError (或者更糟的情况)。
- allow_nan:如果 allow_nan 是 false(默认为 True),那么在对严格 JSON 规格范围外的 float 类型值(nan、inf 和 -inf)进行序列化时会引发一个 ValueError。如果 allow_nan 是 true,则使用它们的 JavaScript 等价形式(NaN、Infinity 和 -Infinity)。
- cls:默认使用编码器JSONEncoder,也可以指定自己定义的JSONEncoder子类作为编码器进行个性化编码。
- indent:如果 indent 是一个非负整数或者字符串,那么 JSON 数组元素和对象成员会被美化输出为该值指定的缩进等级。 如果缩进等级为零、负数或者 "",则只会添加换行符。 None (默认值) 选择最紧凑的表达。 使用一个正整数会让每一层缩进同样数量的空格。 如果 indent 是一个字符串 (比如 "\t"),那个字符串会被用于缩进每一层。
- separators: 当被指定时,separators 应当是一个
(item_separator, key_separator)
元组。当 indent 为None
时,默认值取(', ', ': ')
,否则取(',', ': ')
。为了得到最紧凑的 JSON 表达式,你应该指定其为(',', ':')
以消除空白字符。 - default:当 default 被指定时,其应该是一个函数,每当某个对象无法被序列化时它会被调用。它应该返回该对象的一个可以被 JSON 编码的版本或者引发一个 TypeError。如果没有被指定,则会直接引发 TypeError。
- sort_keys:如果 sort_keys 是 true(默认为 False),那么字典的输出会以键的顺序排序。
python
import json
# python object(dictionary) to be dumped
dict1 ={
"emp1":{
"name":"Lisa",
"designation":"programmer",
"age":34,
"salary":54000.01
},
"emp2":{
"name":"Elis",
"designation":"Trainee",
"age":24,
"salary":40000.00
},
}
jdict1 = json.dumps(dict1)
print(jdict1)
jdict1 = json.dumps(dict1, indent = 6)
print(jdict1)
'''
{"emp1": {"name": "Lisa", "designation": "programmer", "age": 34, "salary": 54000.01}, "emp2": {"name": "Elis", "designation": "Trainee", "age": 24, "salary": 40000.0}}
{
"emp1": {
"name": "Lisa",
"designation": "programmer",
"age": 34,
"salary": 54000.01
},
"emp2": {
"name": "Elis",
"designation": "Trainee",
"age": 24,
"salary": 40000.0
}
}
'''
编码器JSONEncoder
class json.JSONEncoder(* , skipkeys=False , ensure_ascii=True , check_circular=True , allow_nan=True , sort_keys=False , indent=None , separators=None , default=None)
用于Python数据结构的可扩展JSON编码器。
默认支持以下对象和类型:
Python | JSON |
---|---|
dict | object -- 对象 |
list, tuple | array |
str | string |
int, float, int 和 float 派生的枚举 | 数字 |
True | true |
False | false |
None | null |
除了上面这些类型,JSONEncoder不支持自定义的类型,需要自己写基于上面这个编码器的子类。
主要方法:
default(o)
在子类中实现这种方法使其返回 o 的可序列化对象,或者调用基础实现(引发 TypeError )。
encode(o)
返回 Python o 数据结构的 JSON 字符串表达方式。
iterencode(o)
编码给定对象 o ,并且让每个可用的字符串表达方式。
python
import json
class Base:
def __init__(self, id, desc):
self.id = id
self.desc = desc
def foo(self):
print(f'Base {self.id=}, {self.desc=}')
IDSTART = 1100001
class Teacher(Base):
def __init__(self, name, course):
self.name = name
self.course = course
class Student(Base):
def __init__(self, name, age):
self.name = name
self.age = age
self.score = {'Chinese':90, 'Math':95, 'English':90}
self.tearchers = [Teacher('Chen', 'Chinese'), Teacher('Wang', 'Math'), Teacher('Su', 'English')]
global IDSTART
IDSTART += 1
super().__init__(IDSTART, 'Student ' + name)
def foo(self):
print(f'Student {self.name=}, {self.age=}')
class MyEncoder(json.JSONEncoder):
def default(self, obj):
if type(obj) not in (dict, list, tuple, str, int, float, True, False, None):
return str(vars(obj))
return json.JSONEncoder.default(self, obj)
b = Base(10011, 'Base Object')
b.foo()
jb = json.dumps(b, cls=MyEncoder)
print(jb)
s = Student('John', 12)
s.foo()
js = json.dumps(s, cls=MyEncoder)
print(js)
'''
Base self.id=10011, self.desc='Base Object'
"{'id': 10011, 'desc': 'Base Object'}"
Student self.name='John', self.age=12
"{'name': 'John', 'age': 12, 'score': {'Chinese': 90, 'Math': 95, 'English': 90}, 'tearchers': [<__main__.Teacher object at 0x10fede450>, <__main__.Teacher object at 0x10fe05a50>, <__main__.Teacher object at 0x10fede510>], 'id': 1100002, 'desc': 'Student John'}"
'''
生成json文件
json.dump(obj , fp , * , skipkeys=False , ensure_ascii=True , check_circular=True , allow_nan=True , cls=None , indent=None , separators=None , default=None , sort_keys=False , **kw)
将python对象以json格式写入文件fp(支持write()方法)
json 模块始终产生 str 对象而非 bytes 对象。因此,fp.write() 必须支持 str 输入。