liwen01 2023.12.17
前言
MP4是目前非常常用的一种视频封装格式,关于MP4的介绍资料也非常多。我们常用的封装库或工具有:ffmpeg
,libmp4v2
,GPAC
,MP4.js
,它们的优点是功能基本上都是比较全面,缺点就是它们占用的资源相对来说也是非常多的。
在嵌入式系统中,不管是RAM还是FLASH空间,一般都是非常小,这个时候,如果要将音视频封装成MP4,或是解码MP4格式就会显得非常困难,因为上面介绍的那些库都放不下或是因为内存不够运行不起来,只能根据MP4协议自己去解析。
这里介绍一个轻量级的MP4封装方法(minimp4),集成MP4编码,解码,信息查询功能,整体执行文件大小如下:
biao@ubuntu:~/minimp4_test$ mips-linux-uclibc-gnu-size test
text data bss dec hex filename
354696 1460 13624 369780 5a474 t
biao@ubuntu:~/minimp4_test$
(一)功能需求介绍
在一般嵌入式设备上,我们一般只需要MP4的一些简单操作,比如封装,解封装及文件信息查看。具体功能要求如下:
- 支持合入H.264 和H.265 视频格式视频
- 支持合入AAC音频
- 支持MP4格式文件解封装
- 支持获取MP4文件信息
性能上的限制,我们希望:
- 代码空间小于500K
- 运行内存小于100K
要在有限的资源上实现上面这些功能,我们可以在minimp4的基础再进一步完善。
minimp4
的源代码可以直接在 github
上下载,官方有个minimp4_test.c
,里面有些使用的demo,但不是非常完善,可以参考使用。
(二)支持H.264与H.265格式
(1)H.264与H.265的区别
使用工具打开官方自带的foreman.264文件,我们可以看到:
- 该文件中包含SPS,PPS,IDR,P帧,在其它文件中,可能还会有B帧
- 头标签为00 00 00 01,后面一个是帧类型
- 视频分辨率352*288
- 流类型AVC/H.264
- 总共300帧
另外打开一个H.265文件
我们可以看到:
- 该文件中包含VPS SPS,PPS,IDR,TRAIL_R,TRAIL_N帧
- 头标签为00 00 00 01,后面是帧类型
- 视频分辨率1280*720
- 流类型HEVC/H.265
- 总共770帧
从应用的角度看,H.265 是有多一个VPS帧,它主要是用来描述视频中各种类型帧(比如I帧、P帧、B帧)的使用和顺序,以及它们之间的相关性.
在实际使用的时候,需要注意VPS、SPS、PPS这些帧的封装和解析。
(2)手动添加VPS信息
正常使用minimp4 的时候,使用h.265进行封装的是没有问题的,但是在解封装的时候,它并不会去提取VPS信息,这里比较简单的做法是自己补充上相关的信息到文件头:
if(is_hevc){
staticunsignedchar h265_vps_sps_pps[84]={
0x00,0x00,0x00,0x01,0x40,0x01,0x0C,0x01,
0xFF,0xFF,0x00,0x80,0x00,0x00,0x03,0x00,
0x00,0x03,0x00,0x00,0x03,0x00,0x00,0x03,
0x00,0x00,0xB5,0x02,0x40,0x00,0x00,0x00,
0x01,0x42,0x01,0x01,0x00,0x80,0x00,0x00,
0x03,0x00,0x00,0x03,0x00,0x00,0x03,0x00,
0x00,0x03,0x00,0x00,0xA0,0x02,0x80,0x80,
0x2D,0x1F,0xE5,0xB5,0x92,0x46,0xD0,0xCE,
0x49,0x24,0xB7,0x24,0xAA,0x49,0xF2,0x92,
0xC8,0x00,0x00,0x00,0x01,0x44,0x01,0xC1,
0xA5,0x58,0x1E,0x48,
};
if(fwrite(h265_vps_sps_pps, 1, sizeof(h265_vps_sps_pps), foutV)!= sizeof(h265_vps_sps_pps)){
goto END;
}
}
h265_vps_sps_pps
里面的内容,需要根据自己实际的码流信息进行修改
(三)支持AAC音频格式
AAC与PCM之间的编码与转换,可以查看上一篇文章:嵌入式音频应用开发介绍
主要需要注意的是AAC的配置,需要根据实际参数进行修改
// unsigned char conf[] = {0x11, 0x90}; //AAL-LC 48kHz 2 channle
staticunsignedchar aac_conf[4]={0x11, 0x90, 0x0, 0x0};
unsignedint length = 2;
MP4E_set_dsi(mux, audio_track_id, aac_conf,4);
printf("%s %d \r\n",__FUNCTION__,__LINE__);
(四)获取mp4文件信息
这部分需要对 mp4 协议比较熟悉,具体的协议介绍,可以去查询MP4标准。这里介绍几个简单概念:
概念 | 描述 |
---|---|
Box | MP4中的基本构建单元,也称为Atom。每个Box都有特定类型的标识符和长度字段,用于描述它自己的内容和大小。不同类型的Box包含不同类型的信息。 |
Sample | 视频和音频编解码中的最小可操作单元。对于视频,每个样本代表一个画面或图像帧;对于音频,每个样本可能代表一小段声音。它们按特定顺序组成媒体文件。 |
Track | 用于组织媒体数据的单独通道。MP4文件可以包含多个轨道,如视频轨道、音频轨道。每个轨道包含相应类型的媒体数据和描述信息,如视频轨道包含视频样本和元数据。 |
Chunk | 一组样本的集合。在媒体文件中,样本可以组织成不同大小的块,可以是连续的或分散的。块可以包含一个或多个样本,物理上可以存储在文件的不同位置。 |
mp4中包含很多的Box,mp4的基本信息和索引是在moov box中的:
Box类型 | 描述 |
---|---|
mvhd | 影片整体信息 |
trak | 包含一个或多个轨道的详细描述 |
udta | 存储用户自定义的数据 |
其中 mvhd Box(Movie Header Box)
:这个Box包含了影片的整体信息,比如时长、时间刻度等。它描述了整个媒体文件的基本属性。
我们打开一个使用miniMP4封装的MP4文件,可以看到moov box 是后置的,也就是在文件的后面,而在一些其它的库中,moov box的偏移位置是在比较靠近文件开始的位置。
如果我们要快速的查看mp4文件的信息,比如视频时间长度,对于使用minimp4封装的Mp4文件,它的moov box后置,我们可以从后面开始解析。
#define CHUNK_SIZE (10*1024)
typedefstruct
{
unsignedchar mvhd[4];
unsignedchar version;
unsignedchar flags[3];
unsignedint creation_time;
unsignedint modification_time;
unsignedint timescale;
unsignedint duration;
}MVHD_ST;
MVHD_ST g_stMVDHInfo;
/**
* @brief 字节序翻转
* @param val
* @return unsigned int
*/
unsigned int videoinfo_flip(unsigned int val) {
unsignedlongnew = 0;
new += (val & 0x000000FF) << 24;
new += (val & 0xFF000000) >> 24;
new += (val & 0x0000FF00) << 8;
new += (val & 0x00FF0000) >> 8;
returnnew;
}
/**
* @brief 查找特定ASCII码字符串位置
* @param file_name
* @param search_str
* @return long long
*/
long long find_string_position(const char *file_name, const char *search_str) {
FILE *file = NULL;
char *buffer =NULL;
int read_size = 0;
int length = 0;
longlong file_size = 0;
longlong search_position =0;
longlong position = 0;
if(file_name==NULL || search_str==NULL){
printf("%s %d input para error \r\n",__FUNCTION__,__LINE__);
return-1;
}
file = fopen(file_name, "rb");
if (file == NULL) {
printf("%s %d file open error\r\n",__FUNCTION__,__LINE__);
return-2;
}
length = strlen(search_str);
fseek(file, 0, SEEK_END);
file_size = ftell(file);
search_position = file_size - CHUNK_SIZE;
if (search_position < 0) {
search_position = 0;
}
buffer = (char *)malloc(CHUNK_SIZE + 1);
if (buffer == NULL) {
fclose(file);
printf("%s %d malloc error\r\n",__FUNCTION__,__LINE__);
return-3;
}
int cnt = 0;
while (search_position >= 0) {
/**限制检索最大值,避免输入文件损坏一直在检索**/
if(cnt ++>30){
break;
}
fseek(file, search_position, SEEK_SET);
size_t read_size = fread(buffer, 1, CHUNK_SIZE, file);
for (int i = read_size - 1; i >= 0; i--) {
int j;
for (j = 0; j < length; j++) {
if (i - j < 0 || buffer[i - j] != search_str[length - j - 1]) {
break;
}
}
if (j == length) {
position = search_position + i - length + 1;
break;
}
}
search_position = search_position - CHUNK_SIZE;
if(search_position<0){
search_position = 0;
}
if(position!=0){
break;
}
}
printf("read cnt=%d \r\n",cnt);
if(position>0){
fseek(file, position, SEEK_SET);
read_size = fread(&g_stMVDHInfo, 1, sizeof(g_stMVDHInfo), file);
}
fclose(file);
free(buffer);
return position;
}
MP4的详细格式定义,可以查看MP4标准: Text of ISO/IEC 14496-12 5th edition
(五)减少内存的使用
在minimp4源码中,它有个preload
函数,它的主要作用是将输入的文件全部读取到内存中去,后面数据解析的时候直接去内存Buff中获取,这种方式的优点是处理速度快,缺点就是耗内存。
在嵌入式系统设备中,有些设备可能整个系统总共才几十M的内存,一次把整个文件读取到内存中去解析,如果要处理比较大的mp4文件,显然是有问题的,会直接导致系统内存不够用。
有一个处理方式是按需读取数据,需要多少就读取多少,这样的处理方式可以以速度换空间。将 preload
改为 preload_file
,write_callback
改 read_file_callback
,同时,有对内存数据进行操作的地方也需要修改。
static FILE *preload_file(const char *path, ssize_t *data_size)
{
FILE *file = fopen(path, "rb");
uint8_t *data;
*data_size = 0;
if (!file){
return0;
}
if (fseek(file, 0, SEEK_END)){
exit(1);
}
*data_size = (ssize_t)ftell(file);
if (*data_size < 0){
exit(1);
}
if (fseek(file, 0, SEEK_SET)){
exit(1);
}
return file;
}
static int read_file_callback(int64_t offset, void *buffer, size_t size, void *token)
{
staticint total_len = 0;
INPUT_FILE_BUF *buf = (INPUT_FILE_BUF*)token;
int read = 0;
int ret = 0;
size_t to_copy = MINIMP4_MIN(size, buf->size - offset - size);
fseek(buf->fin,offset,SEEK_SET);
read = fread(buffer,1,to_copy,buf->fin);
return to_copy != size;
}
(六)工程资料下载
如需上面介绍的工程,测试文件,以及查看工具,可以在公众号中回复 资源
获取,内容在音视频
连接中。工程目录如下:
biao@ubuntu:~/test/minimp4/minimp4_test$ tree
.
├── adts.c
├── adts.h
├── file
│ ├── decode_audio.aac
│ ├── decode_foreman_.264
│ ├── decode_foreman.264
│ ├── decode_test.h265
│ ├── decode_video.h265
│ ├── faac_adts.aac
│ ├── foreman.264
│ ├── h264_aac.mp4
│ ├── h265_aac.mp4
│ └── surfing_aa.h265
├── Makefile
├── minimp4.h
├── obj
│ ├── adts.o
│ └── write_demux_mp4.o
├── test
└── write_demux_mp4.c
2 directories, 18 files
biao@ubuntu:~/test/minimp4/minimp4_test$
结尾
minimp4
适用于内存和存储空间都非常受限的嵌入式设备,很多功能并不十分完善,需要自己根据实际应用进行适配。如果只是在设备上进行简单的MP4封装和解封装,它的功能也是足够了的。
---------------------------End--------------------------- 如需获取更多内容 请关注 liwen01 公众号