Raw格式的图片理解、读取、转换、显示

图像处理

文章目录

图像处理
RAW图bayer格式理解
一、Raw存储格式
[二、 Raw的转换](#二、 Raw的转换)

RAW图bayer格式理解

Bayer是相机内部的原始图片, 一般后缀名为.raw。可以利用一些软件查看, 比如picasa、irfanview、photoshop。

我们相机拍照下来存储在存储卡上的.jpeg或其它格式的图片, 都是从.raw格式转化过来的。 raw格式内部的存储方式有多种, 但不管如何, 都是前两行的排列不同。

Raw 在输出时具有一定的顺序格式，一般分为四种：

如上，为四种排列格式的rawRGB数据。假设一个sensor的像素是88（分辨率为8 8），那么这个sensor就有8*8个感光点，每个感光点就是一个晶体管。

在OPENCV中有raw灰度转rgb彩色所需要的参数，例如COLOR_BayerBG2RGB其中的BG为raw图原本的拜尔格式。

格式名由图像中（1，1）和（1，2）决定，如上图为RGGB格式，（1，1）为B，（1，2）为G，则对应BG格式，对应COLOR_BayerBG2RGB。(直白一点的记法就是后两位倒过来，例如GRBG分布为GB格式，BGGR分布为RG格式等等)。

每种格式种存在两个G分量。其中每个分量代表一个piexl，所以GR/BG代表4个piexl，就表示sensor上面的4个晶体管，每个晶体管只采集一个颜色分量，然后通过插值计算出每个piexl的其他分量，目的是降低功耗。

一、Raw存储格式

raw图目前遇到的有2种存储格式，一种是经过压缩的MIPI raw，另一种是未经过压缩的unpacked raw，通常采集的raw图是10bit的，需要用2个字节来存储，两个字节有16个bit位，这样就有6个bit位为空。

MIPI raw就充分利用了这6个bit位，每5个字节存储4个像素值，如图1.1所示，每格代表两个bit位，前4个红色的格子存储的是第一个像素的高8位，接着4个黄色的格子存储的是第二个像素的高8位，接着4个绿色的格子存储的是第三个像素的高8位，接着4个蓝色的格子存储的第四个像素的高8位，接着1个蓝色的格子存储的是第4个像素的低2位，接着一个绿色的格子存储的是第3个像素的低2位，接着一个个黄色的格子存储的是第2个像素的低2位，最后一个红色的格子存储的是第1个像素的低2位。

图1.1 MIPI raw的存储方式

unpacked raw的存储格式如图1.2所示，每个格子代表1个bit，绿色格子代表低10位被占用，白色格子表示高6位为空。

图1.2 unpacked raw的存储方式

RAW8

用8bit表示G/R/G/B中的一个分量。

RAW10

用10bit表示G/R/G/B中的一个分量，但是数据中是16bit，高6位没用，对应上面的unpacked raw的存储方式。

RAW12

用12bit表示G/R/G/B中的一个分量，但是数据中是16bit，高4位没用。

这里要注意的是, bayer每个像素的值是8位的. 但是有的相机的bayer格式却有10位, 12位以及14位, 16位的, 那么则需要将高于8位的数据转换为8位数据。拿12位数据来说, 有的是取高8位或是低8位, 那么这样就会出现一个问题, 这张图像会有一个斜度, 不是偏亮就是偏暗, 或是出现其它颜色问题，需要后期进行校正。

二、 Raw的转换

从bayer转换成rgb图的算法, RGB图, 即为三色图, 一个像素点就由RGB三种颜色构成的混合色, 而bayer图一个像素就只有一个颜色, 或R或G或B. 因为bayer一个像素点只有一种颜色, 需要借助这个像素点周围的颜色对它进行插值(填充)另外的两种颜色, 它本身的颜色就不用插了。

网络上关于bayer插值算法有很多，最终转换到RGB的效果也各有差异。

opencv中的接口cvCvtColor帮我们做了从raw到rgb的转换。接下来的问题是，只要利用别的方法正确读取raw数据即可。

bayer图像是 one channel的图像，如果简单的用imread，用defualt的参数的话，读出来的是3 channels的matrix。而 cvtColor（source, destination, CV_BayerRG2BGR) 是将one channel 转换成 3 channel 图像的，解决办法就是把imread 的参数设为0 或者 -1。此处的bayer格式需要从camera处获取，也就是假设相机为BGGR分布，则为RG格式，选择参数CV_BayerRG2BGR。

读取raw10图片后如果要转成RGB或BGR图像，需要先转成raw8格式，即保证每个像素的值在0~255之间，否则会抛出异常。

以下是本人根据理解对Raw10转换为rgb8写的读取显示C++代码：

cpp 复制代码

//(1)读取，转换，显示
Mat ReadRaw10(const char* rawname)
{
	//分配内存,一个像素两个字节
	unsigned short* pRawdata10 = (unsigned short*)malloc(height * width * sizeof(unsigned short));//sizeof(unsigned short)=2
	if (!pRawdata10)
	{
		cout << "ERROR: create space failed!" << endl;
	}
	// 读取raw10图片
	//fopen：打开文件成功的话返回文件指针（赋值给fp），打开失败则返回 NULL值；
	//fopen_s：打开文件成功返回0，失败返回非0。
	FILE* praw;
	praw=fopen(rawname, "rb");
	//errno_t err_code = fopen_s(&praw, rawname.c_str(), "rb");
	if (!praw) 
	{
		cout << "can not open the raw image!" << endl;
	}
	else
	{
		cout << "raw image read successfully!" << endl;
	}
	//往分配的内存空间读取raw文件中的字节， sizeof(pRawdata10[0])=2(基本单元大小，一个像素2字节)
	fread(pRawdata10, sizeof(pRawdata10[0]), (size_t)width * height, praw);
	fclose(praw);
 
	//创建一个和输入的raw图一样大小类型的矩阵
	Mat img_raw10(height, width, CV_16UC1, pRawdata10); //CV_16UC1或CV_16SC1
	//  需要转换为raw8之后再转成RGB或BGR图像,否则运行会崩溃，因为rgb和gray都是8U类型的数据，而raw10Img是16S，数据溢出，
	Mat img_raw8 = Mat::zeros(height, width, CV_8UC1);
	//位深转化函数，可将任意类型的数据转化为CV_8UC1
	convertScaleAbs(img_raw10, img_raw8, 0.25);
	//raw转rgb
	Mat img_rgb8 = Mat::zeros(height, width, CV_8UC3);
	cvtColor(img_raw8, img_rgb8, COLOR_BayerBG2RGB);//BGGR,GBRG,RGGB,GRBG四种拜尔分布
	/*imshow("image_raw10", img_raw10);
	imshow("image_raw8", img_raw8);*/
	/*imshow("image_rgb8", img_rgb8);
	waitKey(0);*/
	return img_rgb8;
 
}

这个过程需要用到文件操作，fopen()中的文件路径是const char*类型，raw图路径如果一开始定义为string类型，需要进行转换才能实现后续操作,可通过string.c_str()等函数。