在ffmpeg中，如何把h264转换为rgb格式

在ffmpeg中，网络视频流h264为什么默认的转为YUV而不是其他格式文章中介绍了，h264解码的时候是直接解码为yuv的，如果在使用的过程中需要用到rgb的格式，我们该如何来转换这种格式呢？

在上面的文章中，我们已经知道了ffmpeg中，使用avcodec_send_packet 和avcodec_receive_frame 对h264进行了解码，这时候编码已经变为yuv了。

那问题就变为了，如何把yuv格式转变为rgb。对于yuv和rgb来说，这两种只是格式的不同而已，映射空间的不同，也就是说，通过映射，我们可以把yuv转换为rgb。

在ffmpeg中，通过空间的转换，使用到的函数是：sws_getContext 和sws_scale。

代码如下：

AVFrame* decode_to_rgb(AVFrame* frame) {
	// 创建一个swsContext，用于YUV到RGB的转换
	SwsContext* swsContext = sws_getContext(frame->width, frame->height, (AVPixelFormat)frame->format,
		frame->width, frame->height, AV_PIX_FMT_RGB24,
		SWS_BILINEAR, NULL, NULL, NULL);
	if (!swsContext) {
		// 错误处理...
	}

	// 创建一个新的AVFrame，用于存储RGB数据
	AVFrame* rgbFrame = av_frame_alloc();
	rgbFrame->format = AV_PIX_FMT_RGB24;
	rgbFrame->width = frame->width;
	rgbFrame->height = frame->height;
	av_frame_get_buffer(rgbFrame, 0);

	// 将YUV数据转换为RGB
	sws_scale(swsContext, frame->data, frame->linesize, 0, frame->height,
		rgbFrame->data, rgbFrame->linesize);

	// 释放swsContext
	sws_freeContext(swsContext);

	return rgbFrame;
}

通过上面的程序，我们可以知道，yuv和rgb的数据，是存在frame->data中的，每个frame代表了一帧，也就是代表了一张图片，在上一篇文章中，如果你还记得的话，那么h264的数据是放在AVPacket中的。

既然每一帧是一张图片，我们能不能也把AVFrame 编码为jpg的图片，这是可以的。

bool yuv_to_jpeg(void* framev) {

	AVFrame* frame = (AVFrame*)framev;
	const AVCodec* jpegCodec = avcodec_find_encoder(AV_CODEC_ID_MJPEG);
	if (!jpegCodec) {
		return false;
	}
	AVCodecContext* jpegContext = avcodec_alloc_context3(jpegCodec);
	if (!jpegContext) {
		return false;
	}

	jpegContext->pix_fmt = AV_PIX_FMT_YUVJ420P;
	jpegContext->height = frame->height;
	jpegContext->width = frame->width;
	jpegContext->time_base.den = 20;
	jpegContext->time_base.num = 1;
	if (frame->height <= 0)return false;

	int ret = avcodec_open2(jpegContext, jpegCodec, NULL);
	if (ret < 0) {
		//char* ret =(char*) av_err2str(ret);
		return false;
	}

	AVPacket* packet;
	packet = av_packet_alloc();

	// 发送帧到编码器
	if (avcodec_send_frame(jpegContext, frame) < 0) {
		// 错误处理...
	}

	if (avcodec_receive_packet(jpegContext, packet) == 0) {
		// 如果编码器输出了JPEG数据，将其保存到文件
		FILE* JPEGFile;
		char JPEGFName[256];
		static int i = 0;
		sprintf(JPEGFName, "jpg//dvr-%06d.jpg", ++i);
		JPEGFile = fopen(JPEGFName, "wb");
		fwrite(packet->data, 1, packet->size, JPEGFile);
		fclose(JPEGFile);
	}


	av_packet_unref(packet);
	avcodec_close(jpegContext);
	return true;
}

因为jpg是一种编码格式，所有会用到avcodec_send_packet 和avcodec_receive_frame ，编码的内容存在packet中，ffmpeg都帮我们把jpg的格式填充在packet中了，我们只需要把数据直接保存在文件就可以得到图片了。

所有的代码都已在git上。