OpenCV/CV2，PIL，Tensor之间如何互相转化

思念殇千寻2024-08-20 17:50

参考资料：

torchvision文档

众所周知OpenCV/CV2和PIL是Python领域最常使用的图像处理库，而Pytorch Tensor则是我们在深度学习领域接触最多的张量数据结构，知道这几种格式之间的相互转化方式是非常有必要的。三类，一共6种相互转化的链路，下面一一道来：

1. OpenCV/CV2(ndarray)

cv2不像PIL Image那样有特定的图像存储类，因此cv2格式其实是一个伪命题。使用cv2读取图片，实际上获得的是一个ndarray。ndarray更是我们的老熟人，它是numpy包中的张量数据类型。

ndarray to tensor：

复制代码

image_nd = cv2.imread("XX.jpg")
A = ( torch.tensor(image_nd) / 255. ).flip(-1)

上面是一个典型的代码片，需要注意cv2读到的ndarray是uint8类型，并且默认通道顺序是BGR，因此需要先除以255然后反转最后一个维度(Pytorch不支持[::-1]这种切片逆转语法)。

ndarray to pil

复制代码

image_nd = cv2.imread("/data1/chaishang.cs/Tryon/31_human.jpg")
image_pil = Image.fromarray(image_nd[..., ::-1])

只需使用Image.fromarray方法，需要注意pil图片的通道顺序是RGB，因此也需要先对通道进行反转。

**　　2. PIL image**

**　　pil to tensor**

复制代码

import torchvision.transforms.functional as F
F.pil_to_tensor(image_pil) / 255.

pil to ndarray

复制代码

image_nd = np.array(image_pil)

3. Tensor

**　　tensor to ndarray**

直接对tensor调用.numpy()函数即可，如果tensor位于cuda上，需要先运行.cpu()

tensor to pil

复制代码

import torchvision.transforms.functional as F
F.to_pil_image(tensor)

需要注意tensor需要是[C, H, W]的格式，并且归一化到[0, 1]区间。