实时流传输协议 RTSP(Real-Time Streaming Protocol)是 TCP/IP 协议体系中的一个应用层协议,由哥伦比亚大学、网景和 RealNetworks 公司提交的 IETF RFC 标准。该协议定义了一对多应用程序如何有效地通过 IP 网络传送多媒体数据。RTSP 在体系结构上位于 RTP 和 RTCP 之上,它使用 TCP 或 UDP 完成数据传输。
一、RTSP 适用场景:
- **视频监控和安防系统:**RTSP 在视频监控领域具有广泛的应用。它可以实现监控视频的实时传输、回放、点播和存储等功能,适用于大规模的视频监控系统,如城市安防、企事业单位、交通监控等场景。
- **直播服务:**RTSP 在直播服务中也发挥着重要作用。它可以实现音视频数据的实时传输和控制,确保直播的流畅性和稳定性。同时,RTSP 还支持多种媒体格式和编码方式,适应不同平台和设备的播放需求。
- **点播服务:**除了直播外,RTSP 还适用于点播服务。用户可以通过 RTSP 协议向服务器请求特定的音视频资源,进行播放和观看。这种方式适用于视频库、在线教育、远程会议等场景。
- **视频会议和远程教育:**RTSP 在视频会议和远程教育领域也具有一定的应用价值。它可以实现音视频数据的实时传输和控制,确保会议的顺利进行和远程教育的有效性。
- **流媒体服务器与媒体播放器之间的通信:**RTSP 协议是流媒体服务器与媒体播放器之间的主要通信协议,用于建立和控制媒体会话。通过 RTSP 协议,媒体播放器可以向流媒体服务器请求媒体数据,实现音视频内容的播放。
二、FFmpeg 操作 RTSP 的参数:
FFmpeg 是一个非常强大的开源工具,可以用来处理音频和视频,也可以进行 RTSP 视频流的推拉。
要使用 FFmpeg 进行 RTSP 视频流的推拉,需要首先确保系统已经安装了 FFmpeg。在大多数 Linux 发行版中,可以通过包管理器(如 apt 或 yum)来安装。在 Windows 或 Mac 上,需要从 FFmpeg 的官方网站下载并安装。
安装完成后,可以通过下面的命令,来查询 FFmpeg 操作 RTSP 的参数:
ffmpeg -h demuxer=RTSP
RTSP demuxer AVOptions:
-initial_pause <boolean> .D......... do not start playing the stream immediately (default false)
-rtsp_transport <flags> ED......... set RTSP transport protocols (default 0)
udp ED......... UDP
tcp ED......... TCP
udp_multicast .D......... UDP multicast
http .D......... HTTP tunneling
https .D......... HTTPS tunneling
-rtsp_flags <flags> .D......... set RTSP flags (default 0)
filter_src .D......... only receive packets from the negotiated peer IP
listen .D......... wait for incoming connections
prefer_tcp ED......... try RTP via TCP first, if available
satip_raw .D......... export raw MPEG-TS stream instead of demuxing
-allowed_media_types <flags> .D......... set media types to accept from the server (default video+audio+data+subtitle)
video .D......... Video
audio .D......... Audio
data .D......... Data
subtitle .D......... Subtitle
-min_port <int> ED......... set minimum local UDP port (from 0 to 65535) (default 5000)
-max_port <int> ED......... set maximum local UDP port (from 0 to 65535) (default 65000)
-listen_timeout <int> .D......... set maximum timeout (in seconds) to wait for incoming connections (-1 is infinite, imply flag listen) (from INT_MIN to INT_MAX) (default -1)
-timeout <int64> .D......... set timeout (in microseconds) of socket I/O operations (from INT_MIN to I64_MAX) (default 0)
-reorder_queue_size <int> .D......... set number of packets to buffer for handling of reordered packets (from -1 to INT_MAX) (default -1)
-buffer_size <int> ED......... Underlying protocol send/receive buffer size (from -1 to INT_MAX) (default -1)
-user_agent <string> .D......... override User-Agent header (default "Lavf60.3.100")
也可以参考《FFmpeg 从入门到精通》书里的内容:
三、安装 MediaMTX
MediaMTX(原名 rtsp-simple-server)是一个开源的实时媒体服务器和媒体代理,它允许用户发布、读取、代理、录制和播放视频和音频流。MediaMTX 是一个即用型、零依赖的工具,旨在简化媒体流的路由和管理。它通常被用作一个 "媒体路由器",能够将媒体流从一个端点路由到另一个端点。通过使用 MediaMTX,开发者可以轻松地构建各种实时媒体应用,如视频直播、视频点播、视频会议等。
下载并安装 MediaMTX ,目前最新的 Windows 版本是: mediamtx_v1.8.0_windows_amd64.zip。
四、使用 FFmpeg 发送 RTSP 流媒体
假设有一个视频文件(例如 input.mp4)并希望将其作为 RTSP 流发送,可以使用以下命令:
ffmpeg -re -i input.mp4 -c:v libx264 -preset veryfast -maxrate 3000k -bufsize 6000k -pix_fmt yuv420p -g 50 -c:a aac -b:a 160k -ac 2 -ar 44100 -f rtsp rtsp://your_rtsp_server/live/stream
命令参数:
-re: 以原始帧率读取输入(用于模拟实时流)。
-i input.mp4: 指定输入文件。
-c:v libx264: 使用 H.264 视频编码器。
-preset veryfast: 设置 x264 编码器的预设,这里选择了较快的预设以获得更快的编码速度。
-maxrate 和 -bufsize: 设置比特率和缓冲区大小。
-pix_fmt yuv420p: 设置像素格式,这对于某些 RTSP 服务器是必需的。
-g 50: 设置关键帧间隔(GOP大小)。
-c:a aac: 使用 AAC 音频编码器。
-b:a 160k: 设置音频比特率。
-ac 2: 设置音频通道数为 2(立体声)。
-ar 44100: 设置音频采样率为 44100 Hz。
-f rtsp: 设置输出格式为 RTSP。
**rtsp://your_rtsp_server/live/stream:**指定 RTSP 服务器的 URL 和流路径。
如:ffmpeg -re -stream_loop -1 -i input.mp4 -c copy -f rtsp rtsp://127.0.0.1:8554/videoFile_test
五、使用 FFplay 播放 RTSP 流媒体
ffplay 可以直接播放 RTSP 流。命令如下:
ffplay -i rtsp://your_rtsp_server/live/stream
ffplay -i rtsp://127.0.0.1:8554/videoFile_test
六、使用 FFmpeg 录制 RTSP 流媒体
要录制 RTSP 流,可以使用以下命令:
ffmpeg -rtsp_transport tcp -i rtsp://your_rtsp_server/live/stream -c copy -f mp4 output.mp4
这个命令将 RTSP 流转码为 MP4 格式并保存在本地 output.mp4,采用 TCP 传输方式,可以避免缺省 UDP 传输模式可能丢包导致的花屏、绿屏、灰屏、马赛克等问题。
七、使用 FFmpeg 推送、拉取 RTSP 流媒体(摄像头作为源)
要使用 FFmpeg 发送和播放 RTSP 流媒体,并且以摄像头采集的视频作为源,需要按照以下步骤操作:
首先,需要确保摄像头已经被系统识别,可以通过一些命令方式(如v4l2-ctl 或 ffmpeg -list_devices true -f dshow -i dummy,对于Windows)来列出和选择。
然后,可以使用以下 FFmpeg 命令将摄像头采集的视频作为源,并发送到 RTSP 服务器:
ffmpeg -re -f v4l2 -input_format h264 -i /dev/video0 -c:v copy -an -f rtsp rtsp://your_rtsp_server/live/stream
命令参数:
-f v4l2 指定输入格式为 Video4Linux2(Linux上常用的摄像头输入格式)。
-input_format h264 (如果摄像头直接输出 H.264 格式的话)。但通常摄像头输出的是原始格式(如 YUV),可能需要使用 -c:v libx264 来重新编码。
/dev/video0 是摄像头在 Linux 上的常见设备路径,具体取决于摄像头和系统配置。在 Windows 上,可能需要使用如 dshow 这样的输入选项和设备名。
-c:v copy 试图直接复制视频流(如果源是编码的格式),但如果源是原始格式,则需要用编码器(如 -c:v libx264)。
-an 表示不包含音频流(因为摄像头通常不输出音频)。
-f rtsp 指定输出格式为 RTSP。
rtsp://your_rtsp_server/live/stream 是 RTSP 服务器的 URL 和流路径。
以摄像头为源,推送 RTSP 流媒体:
ffmpeg -f dshow -i video="HP Wide Vision HD Camera" -vcodec libx264 -preset:v ultrafast -tune:v zerolatency -rtsp_transport tcp -f rtsp rtsp://127.0.0.1:8554/camera_test
以摄像头为源,拉取 RTSP 流媒体:
ffplay -i rtsp://127.0.0.1:8554/camera_test
拉取视频显示:
注意事项:
如果摄像头输出的是原始格式而不是 H.264 编码的视频,需要使用视频编码器(如 -c:v libx264 )来重新编码视频流。
可能需要根据摄像头和 RTSP 服务器的具体配置来调整 FFmpeg 命令中的参数。
确保网络防火墙和安全设置允许 RTSP 流的传输。
如果 RTSP 服务器需要身份验证或其他安全设置,需要在 URL 中包含这些信息,如 rtsp://username:password@your_rtsp_server/live/stream。
老徐,2024/5/2