FFMPEG3.0 增加RTSP拉取PCM音频流功能

无法拉取的是因为没有RTP关于PCM的解包器,新建一个自定义解包器即可。PCM为裸数据,在RTP封装中无需额外处理,只需要在数据处理接口中做好大小端转换即可。

新建一个自定义解封装代码ffmpeg-3.0/libavformat/rtpdec_pcm.c

c 复制代码
#include "libavutil/attributes.h"
#include "libavutil/base64.h"
#include "libavutil/intreadwrite.h"
#include "libavutil/avstring.h"
#include "avformat.h"

#include "rtpdec.h"
#include "rtpdec_formats.h"

// return 0 on packet, no more left, 1 on packet, 1 on partial packet
static int pcm_handle_packet(AVFormatContext *ctx, PayloadContext *data,
                              AVStream *st, AVPacket *pkt, uint32_t *timestamp,
                              const uint8_t *buf, int len, uint16_t seq,
                              int flags)
{
    int result = 0;
    int i = 0;
    int width = 0;
    int chan = 0;

    switch (st->codec->sample_fmt) {
        case AV_SAMPLE_FMT_U8: 
            width = 1;
            break;

        case AV_SAMPLE_FMT_S16:
            width = 2;
            break;
        case AV_SAMPLE_FMT_S32:
            width = 4;
            break;

        default:
            width = 2;
            break;
    }

    chan = st->codec->channels;
    // printf("width:%d chan:%d\n", width, chan);

    if ((result = av_new_packet(pkt, len)) < 0)
        return result;

    for (i = 0; i < len / width; i++) {
        pkt->data[width * i] = buf[width * i + 1];
        pkt->data[width * i + 1] = buf[width * i];
    }
    // memcpy(pkt->data, buf, len);
    pkt->stream_index = st->index;

    return 0;
}

static void pcm_close_context(PayloadContext *data)
{
#ifdef DEBUG
    int ii;

    for (ii = 0; ii < 32; ii++) {
        if (data->packet_types_received[ii])
            av_log(NULL, AV_LOG_DEBUG, "Received %d packets of type %d\n",
                   data->packet_types_received[ii], ii);
    }
#endif
}

static int parse_pcm_sdp_line(AVFormatContext *s, int st_index,
                               PayloadContext *h264_data, const char *line)
{
    return 0;
}

RTPDynamicProtocolHandler ff_pcmS16le_dynamic_handler = {
    .enc_name         = "L16",
    .codec_type       = AVMEDIA_TYPE_AUDIO,
    .codec_id         = AV_CODEC_ID_PCM_S16LE,
    .priv_data_size   = 0,
    .parse_sdp_a_line  = parse_pcm_sdp_line,
    .close            = pcm_close_context,
    .parse_packet     = pcm_handle_packet,
};

修改makefile

c 复制代码
--- a/libavformat/Makefile
+++ b/libavformat/Makefile
@@ -39,6 +39,7 @@ OBJS-$(CONFIG_RTPDEC)                    += rdt.o                       \
                                             rtpdec_h263.o               \
                                             rtpdec_h263_rfc2190.o       \
                                             rtpdec_h264.o               \
+                                            rtpdec_pcm.o                \
                                             rtpdec_hevc.o               \
                                             rtpdec_ilbc.o               \
                                             rtpdec_jpeg.o               \

注册封装器

c 复制代码
--- a/libavformat/rtpdec.c
+++ b/libavformat/rtpdec.c
@@ -113,6 +113,7 @@ void ff_register_rtp_dynamic_payload_handlers(void)
     ff_register_dynamic_payload_handler(&realmedia_mp3_dynamic_handler);
     ff_register_dynamic_payload_handler(&speex_dynamic_handler);
     ff_register_dynamic_payload_handler(&t140_dynamic_handler);
+    ff_register_dynamic_payload_handler(&ff_pcmS16le_dynamic_handler);
 }

头文件声明接口

c 复制代码
--- a/libavformat/rtpdec_formats.h
+++ b/libavformat/rtpdec_formats.h
@@ -83,5 +83,6 @@ extern RTPDynamicProtocolHandler ff_theora_dynamic_handler;
 extern RTPDynamicProtocolHandler ff_vorbis_dynamic_handler;
 extern RTPDynamicProtocolHandler ff_vp8_dynamic_handler;
 extern RTPDynamicProtocolHandler ff_vp9_dynamic_handler;
+extern RTPDynamicProtocolHandler ff_pcmS16le_dynamic_handler;
相关推荐
EasyCVR3 小时前
视频融合平台EasyCVR在智慧工地中的应用:构建安全、智能、高效的“云上工地”
安全·音视频
xiaopengbc3 小时前
视频媒体影音嗅探神器—Chrome扩展插件(猫抓cat-catch离线版下载)
chrome·音视频·媒体
小椿_3 小时前
AI 驱动视频处理与智算革新:蓝耘MaaS释放海螺AI视频生产力
人工智能·深度学习·音视频
2401_872990533 小时前
【工具记录分享】提取bilibili视频字幕
音视频
瘦马6 小时前
如何播放 M3U8 格式的视频
音视频·m3u8·m3u8在线播放
却道天凉_好个秋6 小时前
音视频学习(六十七):音视频像素格式
音视频·像素格式
K姐研究社13 小时前
通义万相Wan2.5模型实测,可生成音画同步视频
人工智能·aigc·音视频
Rysxt_13 小时前
FFmpeg 教程:从入门到精通,探索多媒体处理的瑞士军刀
ffmpeg·音频处理
顾道长生'17 小时前
(Arxiv-2025)Lynx:迈向高保真个性化视频生成
音视频
MThinker20 小时前
02-Media-11-video_player.py 对H.264或H.265格式视频播放器的示例程序
python·音视频·h.265·h.264·micropython·canmv·k230