python 的对象序列化

basketball6162026-01-13 18:23

对象序列化（Object Serialization）是一种将对象的状态信息转换为可存储或可传输格式的过程。序列化后的对象数据可以被保存到文件、数据库或通过网络传输，之后可以被反序列化还原为原始对象。序列化是实现对象持久化和对象传输的重要技术。

序列化和反序列化的概念

  • 序列化（Serialization）：将对象的状态信息转换为字节序列或其他格式的过程。序列化后的数据可以存储到文件、数据库，或者通过网络发送。

  • 反序列化（Deserialization）：将序列化后的数据还原为原始对象的过程。

为什么需要序列化

  1. 对象持久化：将对象的状态保存到文件或数据库中，以便后续可以恢复这些对象。

  2. 网络传输：通过网络发送对象时，需要将对象转换为字节流，以便在网络上传输。

  3. 跨平台通信：在不同平台或不同语言的系统之间传递对象数据。

  4. 缓存机制：将对象序列化后存储在缓存中，提高系统的性能。

Python 中的序列化

在 Python 中，最常用的序列化模块是 pickle 和 json。

1. pickle 模块

pickle 是 Python 的内置模块，用于序列化和反序列化 Python 对象。pickle 支持几乎所有 Python 数据类型，包括自定义类的对象。

示例代码：

python 复制代码 
import pickle

# 定义一个类
class MyClass:
    def __init__(self, value):
        self.value = value

    def __str__(self):
        return f"MyClass(value={self.value})"

# 创建对象
obj = MyClass(10)

# 序列化对象
serialized_obj = pickle.dumps(obj)
print(f"Serialized object: {serialized_obj}")

# 反序列化对象
deserialized_obj = pickle.loads(serialized_obj)
print(f"Deserialized object: {deserialized_obj}")

# 输出结果
Serialized object: b'\x80\x04\x95...'
Deserialized object: MyClass(value=10)

  • pickle.dumps()：将对象序列化为字节流。

  • pickle.loads()：将字节流反序列化为对象。

注意事项

  • pickle 是 Python 特有的序列化格式，不适合跨语言使用。

  • pickle 序列化的数据可能不安全，因为反序列化时可能会执行恶意代码。因此，只在可信环境中使用 pickle。

2. json 模块

json 是一种轻量级的数据交换格式，广泛用于跨语言的数据传输。Python 的 json 模块支持将 Python 对象序列化为 JSON 格式，并从 JSON 格式反序列化为 Python 对象。

示例代码：
python 复制代码 
import json

# 定义一个类
class MyClass:
    def __init__(self, value):
        self.value = value

    def to_json(self):
        return {"value": self.value}

    @classmethod
    def from_json(cls, data):
        return cls(data["value"])

# 创建对象
obj = MyClass(10)

# 序列化对象
serialized_obj = json.dumps(obj.to_json())
print(f"Serialized object: {serialized_obj}")

# 反序列化对象
deserialized_obj = MyClass.from_json(json.loads(serialized_obj))
print(f"Deserialized object: {deserialized_obj.value}")

# 输出结果
Serialized object: {"value": 10}
Deserialized object: 10

  • json.dumps()：将 Python 对象序列化为 JSON 格式的字符串。

  • json.loads()：将 JSON 格式的字符串反序列化为 Python 对象。

注意事项

  • json 只支持基本数据类型（如字符串、数字、列表、字典等），不支持自定义类的直接序列化。

  • 如果需要序列化自定义类，需要手动实现 to_json 和 from_json 方法。

其他序列化格式

除了 pickle 和 json，还有其他序列化格式，如：

  • XML：用于数据交换，但比 JSON 更复杂。

  • Protocol Buffers：Google 开发的高效序列化格式，用于跨语言数据传输。

  • MessagePack：类似于 JSON，但更紧凑。

pickle

pickle 是 Python 的一个内置模块，用于序列化和反序列化 Python 对象。它允许你将 Python 对象转换为字节流（序列化），以便可以将其存储到文件中或通过网络传输。反过来，你也可以从字节流中恢复原始对象（反序列化）。pickle 支持几乎所有 Python 数据类型，包括自定义类的对象。

pickle 的基本使用方法

1. 序列化对象

使用 pickle.dumps() 或 pickle.dump() 方法将对象序列化为字节流。

  • pickle.dumps()：将对象序列化为字节流，返回一个字节对象。

  • pickle.dump()：将对象序列化并直接写入文件。

示例：使用 pickle.dumps()
python 复制代码 
import pickle

# 创建一个对象
data = {'name': 'Alice', 'age': 25, 'city': 'New York'}

# 序列化对象
serialized_data = pickle.dumps(data)
print(f"Serialized data: {serialized_data}")
示例：使用 pickle.dump()
python 复制代码 
import pickle

# 创建一个对象
data = {'name': 'Alice', 'age': 25, 'city': 'New York'}

# 序列化对象并写入文件
with open('data.pkl', 'wb') as file:
    pickle.dump(data, file)
2. 反序列化对象

使用 pickle.loads() 或 pickle.load() 方法将字节流反序列化为对象。

  • pickle.loads()：从字节流中反序列化对象。

  • pickle.load()：从文件中读取字节流并反序列化对象。

示例：使用 pickle.loads()
python 复制代码 
import pickle

# 创建一个对象
data = {'name': 'Alice', 'age': 25, 'city': 'New York'}

# 序列化对象
serialized_data = pickle.dumps(data)

# 反序列化对象
deserialized_data = pickle.loads(serialized_data)
print(f"Deserialized data: {deserialized_data}")
示例：使用 pickle.load()
python 复制代码 
import pickle

# 从文件中读取并反序列化对象
with open('data.pkl', 'rb') as file:
    deserialized_data = pickle.load(file)
print(f"Deserialized data: {deserialized_data}")

注意事项

  1. 安全性：

    • pickle 序列化的数据可能不安全。反序列化时，pickle 会执行序列化数据中包含的代码。如果数据来自不可信的来源，可能会导致安全问题。

    • 建议 ：只在可信环境中使用 pickle，避免反序列化不可信的数据。

  2. 兼容性：

    • pickle 是 Python 特有的序列化格式，不适合跨语言使用。如果你需要与其他语言交互，可以考虑使用 json 或其他通用的序列化格式。

  3. 版本问题：

    • pickle 模块在不同版本的 Python 中可能不完全兼容。如果你需要在不同版本的 Python 之间传输序列化数据，建议指定 protocol 参数。

    • 示例：

python 复制代码 
serialized_data = pickle.dumps(data, protocol=pickle.HIGHEST_PROTOCOL)

使用自定义类

pickle 也支持序列化自定义类的对象。以下是一个示例：

python 复制代码 
import pickle

# 定义一个自定义类
class MyClass:
    def __init__(self, value):
        self.value = value

    def __str__(self):
        return f"MyClass(value={self.value})"

# 创建对象
obj = MyClass(10)

# 序列化对象
serialized_obj = pickle.dumps(obj)

# 反序列化对象
deserialized_obj = pickle.loads(serialized_obj)
print(f"Deserialized object: {deserialized_obj}")

使用 pickle 进行序列化时，默认会保存当前对象的属性值。pickle 会捕获对象在序列化时刻的状态，包括其所有属性的值。当对象被反序列化时，这些属性值会被还原，对象会恢复到序列化时的状态。

python 复制代码 
import pickle

# 定义一个自定义类
class MyClass:
    def __init__(self, value, name):
        self.value = value
        self.name = name

    def __str__(self):
        return f"MyClass(value={self.value}, name={self.name})"

# 创建对象并设置属性值
obj = MyClass(10, "Alice")
print(f"Original object: {obj}")

# 序列化对象
serialized_obj = pickle.dumps(obj)

# 反序列化对象
deserialized_obj = pickle.loads(serialized_obj)
print(f"Deserialized object: {deserialized_obj}")

# 输出结果
Original object: MyClass(value=10, name=Alice)
Deserialized object: MyClass(value=10, name=Alice)

从输出结果可以看到，反序列化后的对象 deserialized_obj 的属性值与原始对象 obj 的属性值完全一致。

pickle 的工作原理

  1. 序列化时：

    • pickle 会检查对象的属性（包括实例变量和类变量）。

    • 它会将这些属性的值及其类型信息保存到一个字节流中。

    • 如果对象的属性是其他可序列化的对象，pickle 会递归地序列化这些对象。

  2. 反序列化时：

    • pickle 会从字节流中读取对象的状态信息。

    • 它会根据保存的类型信息重新创建对象，并将属性值还原到对象中。

特殊情况

虽然 pickle 默认会保存对象的属性值，但在某些特殊情况下，你可能需要自定义序列化和反序列化的行为。例如：

  • 如果对象包含不可序列化的属性（如文件句柄、数据库连接等），你需要在类中定义 __getstate__ 和 __setstate__ 方法来控制序列化和反序列化的行为。

  • 如果你希望在反序列化时初始化某些默认值，也可以通过 __setstate__ 方法实现。

示例：自定义序列化和反序列化

以下是一个示例，展示如何通过 __getstate__ 和 __setstate__ 方法自定义序列化和反序列化行为：

python 复制代码 
import pickle

class MyClass:
    def __init__(self, value, name):
        self.value = value
        self.name = name
        self._secret = "hidden"  # 假设这是一个敏感属性

    def __str__(self):
        return f"MyClass(value={self.value}, name={self.name})"

    def __getstate__(self):
        # 在序列化时排除敏感属性
        state = self.__dict__.copy()
        del state["_secret"]
        return state

    def __setstate__(self, state):
        # 在反序列化时恢复属性
        self.__dict__.update(state)
        self._secret = "default_secret"  # 为敏感属性设置默认值

# 创建对象
obj = MyClass(10, "Alice")
print(f"Original object: {obj}")

# 序列化对象
serialized_obj = pickle.dumps(obj)

# 反序列化对象
deserialized_obj = pickle.loads(serialized_obj)
print(f"Deserialized object: {deserialized_obj}")
print(f"Deserialized object's secret: {deserialized_obj._secret}")

# 输出结果
Original object: MyClass(value=10, name=Alice)
Deserialized object: MyClass(value=10, name=Alice)
Deserialized object's secret: default_secret

在这个例子中，__getstate__ 方法排除了敏感属性 _secret，而 __setstate__ 方法在反序列化时为 _secret 设置了一个默认值。

关键点解释

  1. __getstate__ 的返回值：

    • __getstate__ 方法返回一个对象的状态，通常是一个字典。这个字典包含了对象在序列化时需要保存的信息。

    • 在上面的例子中，__getstate__ 方法从对象的 __dict__ 中复制了一个副本，并删除了不想序列化的私有属性 _secret。

  2. __setstate__ 方法：

    • __setstate__ 方法在反序列化时被调用，用于从序列化数据中恢复对象的状态。

    • 在上面的例子中，__setstate__ 方法将传入的 state 字典更新到对象的 __dict__ 中，并为私有属性 _secret 设置了一个默认值。

  3. 控制序列化内容：

    • 通过定义 __getstate__ 方法，可以精确控制哪些属性被序列化，哪些属性被忽略。这对于保护敏感信息或优化序列化过程非常有用。

使用场景

  • 保护敏感信息 ：某些属性可能包含敏感信息（如密码、密钥等），通过 __getstate__ 可以在序列化时排除这些属性。

  • 优化序列化性能 ：如果对象包含大量不需要序列化的数据，可以通过 __getstate__ 只序列化必要的部分。

  • 自定义序列化逻辑 ：对于复杂对象，可能需要自定义序列化和反序列化的逻辑，__getstate__ 和 __setstate__ 提供了这种灵活性。

注意事项

  • 如果没有定义 __getstate__ 方法，pickle 默认会序列化对象的 __dict__ 属性。

  • 如果定义了 __getstate__ 方法，但没有定义 __setstate__ 方法，反序列化时会直接将 __getstate__ 的返回值赋值给对象的 __dict__，这可能导致一些问题，因此建议同时定义 __setstate__ 方法。

相关推荐
fie88892 小时前
钢结构件制造车间生产调度实例：MATLAB实现（基于遗传算法）
开发语言·matlab·制造
沐知全栈开发2 小时前
PHP 安装指南
开发语言
rgeshfgreh2 小时前
Python流程控制：从条件到循环实战
前端·数据库·python
luoluoal2 小时前
基于python大数据的电影市场预测分析（源码+文档）
python·mysql·django·毕业设计·源码
幻云20103 小时前
Python深度学习：从入门到实战
人工智能·python
Highcharts.js3 小时前
Highcharts Grid 表格/网格安装 ｜官方安装文档说明
开发语言·javascript·表格组件·highcharts·官方文档·安装说明·网格组件
Zoey的笔记本3 小时前
敏捷与稳定并行：Scrum看板+BPM工具选型指南
大数据·前端·数据库·python·低代码
Coder_Boy_4 小时前
基于SpringAI的在线考试系统-企业级软件研发工程应用规范实现细节
大数据·开发语言·人工智能·spring boot
lly2024064 小时前
SQL SELECT 语句详解
开发语言
热门推荐
01GitHub 镜像站点02Labelme从安装到标注：零基础完整指南03网站改了域名，如何查找？04Linux下V2Ray安装配置指南05安娜的档案(Anna’s Archive) 镜像网站/国内最新可访问入口（持续更新）06【踩坑笔记】50系显卡适配的 PyTorch 安装072025-04-03 Latex学习1——本地配置Latex + VScode环境08AI 规范驱动开发“三剑客”深度对比：Spec-Kit、Kiro 与 OpenSpec 实战指南09CentOS的ISO镜像下载10Claude Code 2.1.2 升级报错？别折腾了，一行命令搞定