Pickle反序列化

pickle简介

与PHP类似，python也有序列化功能以长期储存内存中的数据。pickle是python下的序列化与反序列化包。
python有另一个更原始的序列化包marshal，现在开发时一般使用pickle。
与json相比，pickle以二进制储存，不易人工阅读；json可以跨语言，而pickle是Python专用的；pickle能表示python几乎所有的类型（包括自定义类型），json只能表示一部分内置类型且不能表示自定义类型。
pickle实际上可以看作一种独立的语言，通过对opcode的更改编写可以执行python代码、覆盖变量等操作。直接编写的opcode灵活性比使用pickle序列化生成的代码更高，有的代码不能通过pickle序列化得到（pickle解析能力大于pickle生成能力）。
其中这里有的代码通常涉及pickle协议中一些底层、特殊或非常规的操作，它们超出了简单地"保存和恢复对象状态"的范畴
- 直接操作栈和变量的底层指令
  
  pickle 的 opcode 包含了一系列用于操作虚拟机栈（Stack）和内存变量的指令，这些指令在常规序列化中会被高层逻辑自动处理，用户无法直接触发：
  - 栈操作指令 ：如 PUSH、POP、DUP、SWAP 等，用于手动控制栈的内容。
  - 变量操作指令 ：如 STORE（存储变量）、LOAD（加载变量）、DELETE（删除变量）等，可直接修改全局 / 局部变量，而常规序列化只会保存对象属性，不会主动修改变量。
- 执行任意代码的指令
  
  pickle 包含 REDUCE、GLOBAL、INST 等指令，配合特殊操作可执行任意 Python 代码，但常规序列化仅会调用对象的 __reduce__ 等方法，不会主动构造恶意或非常规的代码执行逻辑：
  - 例如，通过 GLOBAL 指令加载 os.system，再通过 CALL 指令执行系统命令，这种操作无法通过序列化普通对象实现。
- 非常规对象或特殊结构的构造
  
  对于一些没有明确 "状态" 的对象，或需要动态构造的特殊结构，常规序列化无法生成对应的 opcode：
  - 函数 / 类的动态修改 ：直接修改函数的 __code__ 属性，或动态创建类的属性，这类操作需要手动编写 opcode 实现。
  - 循环引用的特殊处理：虽然 pickle 支持循环引用，但手动编写 opcode 可更灵活地控制引用的创建顺序，这是常规序列化无法做到的。
- pickle 协议的扩展或未公开指令
  
  pickle 的不同协议版本包含一些未被高层 API 使用的指令，这些指令只能通过手动编写 opcode 调用：
  - 例如，Python 3.x 中新增的 FRAME、MEMOIZE 等指令，用于优化序列化效率，但常规序列化不会主动使用这些底层指令。

object.reduce() 函数

在开发时，可以通过重写类的 object.__reduce__() 函数，使之在被实例化时按照重写的方式进行。具体而言，python要求 object.__reduce__() 返回一个 (callable, ([para1,para2...])[,...]) 的元组，每当该类的对象被unpickle时，该callable就会被调用以生成对象（该callable其实是构造函数）。
在下文pickle的opcode中， R 的作用与 object.__reduce__() 关系密切：选择栈上的第一个对象作为函数、第二个对象作为参数（第二个对象必须为元组），然后调用该函数。其实 R 正好对应 object.__reduce__() 函数， object.__reduce__() 的返回值会作为 R 的作用对象，当包含该函数的对象被pickle序列化时，得到的字符串是包含了 R 的。

什么是opcode

kotlin 复制代码

python的opcode是一组原始指令，用于在python解释器中执行字节码。每个opcode都是一个标识符，代表一种特定的操作或指令。
在python中，源代码首先被破译为字节码，然后由解释器逐条执行字节码执行字节码指令。这些指令以opcode的形式存储在字节码对象中，并由python解释器按顺序解释和执行。
每个opcode都有其特定的功能，用于执行不同的操作，例如变量加载、函数调用、数值运算、控制流程等。python提供了大量的opcode，以支持各种操作和语言特性。

INST i、OBJO、REDUCER都可以调用一个callable对象

pickle由于有不同的实现版本，在py3和py2中得到的opcode不相同。但是pickle可以向下兼容（所以用v0就可以在所有版本中执行）。

python 复制代码

import pickle

a={'1': 1, '2': 2}

print(f'# 原变量：{a!r}')
for i in range(6):
    print(f'pickle版本{i}',pickle.dumps(a,protocol=i))

pickle3版本的opcode示例：

python 复制代码

# 'abcd'
b'\x80\x03X\x04\x00\x00\x00abcdq\x00.'

# \x80：协议头声明 \x03：协议版本
# \x04\x00\x00\x00：数据长度：4
# abcd：数据
# q：储存栈顶的字符串长度：一个字节（即\x00）
# \x00：栈顶位置
# .：数据截止

pickletools

使用pickletools可以方便的将opcode转化为便于肉眼读取的形式

python 复制代码

import pickletools

data=b"\x80\x03cbuiltins\nexec\nq\x00X\x13\x00\x00\x00key1=b'1'\nkey2=b'2'q\x01\x85q\x02Rq\x03."
pickletools.dis(data)

pickle exp的简单demo

这里举一道CTF例子

深扒Pickle反序列化

Pickle反序列化

pickle简介

object.reduce() 函数

pickletools

pickle exp的简单demo