从规范到实现解读Windows平台如何播放RTSP流

音视频牛哥2024-09-22 22:04

RTSP播放器应用场景

RTSP播放器在视频监控、远程视频会议、网络电视、实时流媒体传输、协同操控相关的智能设备、教育培训以及企业内部通讯与协作等多个领域都有着广泛的应用场景。

1. 视频监控

RTSP直播播放器在视频监控系统中扮演着重要角色。通过RTSP协议，播放器可以实时接收来自监控摄像头的视频流，并进行解码和播放。这使得监控人员能够实时查看监控画面，及时发现异常情况并进行处理。RTSP协议的高实时性和灵活性，使得它在视频监控领域得到了广泛应用。

2. 远程视频会议

在远程视频会议中，RTSP直播播放器也发挥着重要作用。通过RTSP协议，参与者可以实时传输和接收音视频数据，实现远程的面对面交流。RTSP协议支持多种传输协议和编解码器，能够确保音视频数据的流畅传输和高质量播放，满足远程视频会议的需求。

3. 网络电视

随着网络技术的发展，网络电视已经成为人们观看电视节目的一种重要方式。RTSP直播播放器在网络电视领域也有着广泛的应用。通过RTSP协议，播放器可以接收来自网络电视服务器的直播流，并进行解码和播放。用户可以在家中通过电视或电脑等设备观看各种电视节目，享受便捷的观看体验。

4. 实时流媒体传输

除了上述应用场景外，RTSP直播播放器还广泛应用于实时流媒体传输场景。例如，在在线直播、视频点播等应用中，RTSP播放器可以实时接收来自流媒体服务器的音视频数据，并进行解码和播放。这使得用户能够随时随地观看各种直播和点播内容，享受丰富的娱乐体验。

5. 协同操控相关的智能设备

RTSP直播播放器还可以应用于协同操控相关的智能设备场景。例如，在智能机器人或无人机等设备的远程操控中，RTSP播放器可以实时接收来自设备的视频流，并将控制指令发送给设备。这使得操控人员能够实时了解设备的工作状态，并进行精准的操控。

6. 教育培训

在教育培训领域，RTSP直播播放器可以用于搭建在线教育平台或企业内训系统。通过实时传输和播放音视频数据，学员可以远程参与课程学习，与讲师进行互动交流。这种方式不仅提高了学习的便捷性，还降低了培训成本。

7. 企业内部通讯与协作

在企业内部通讯与协作中，RTSP直播播放器可以用于搭建视频会议系统或内部直播系统。通过实时传输和播放音视频数据，员工可以远程参与会议讨论或观看内部直播内容。这种方式提高了企业的沟通效率和协作能力。

规范回顾

好多开发者希望了解下RTSP播放器相关的技术实现，却又有很多人，止步于RTSP的繁琐复杂，本文我们先从RTSP规范层面，对协议栈有个粗浅的解读，然后配合RTSP播放器功能和接口设计，普及下RTSP播放器的实现逻辑。

废话不多说，先看规范，RTSP（Real Time Streaming Protocol）是一种网络控制协议，用于控制流媒体服务器上的媒体流传输。它定义了如何在网络上有效地传送流媒体数据，包括音频、视频和数据等。RTSP本身并不传输数据，而是命令流媒体服务器使用RTP（Real-time Transport Protocol）或RTSP本身的其他协议来传输数据。

RTSP的主要特点包括：

  1. 控制流与数据流的分离：RTSP允许客户端和服务器之间的控制流（如播放、暂停、停止等命令）与数据流（实际的音频、视频数据）分开传输。这使得控制流可以在低带宽下工作，而数据流则可以在高带宽下传输，提高了整体效率。

  2. 可扩展性：RTSP是一个可扩展的协议，支持多种传输、会话控制、媒体类型等。它可以通过定义新的方法和头字段来扩展现有功能。

  3. 基于文本的协议：RTSP的消息（请求和响应）都是基于文本的，这使得调试和日志记录变得相对容易。

  4. 实时性：虽然RTSP本身不传输数据，但它通过控制RTP等协议来确保流媒体数据的实时传输。这使得RTSP成为实时视频和音频流传输的理想选择。

RTSP的工作流程通常包括以下几个步骤：

  1. 建立连接 ：客户端通过发送DESCRIBE请求到服务器，以获取媒体描述（通常是SDP文件）。这个描述包含了媒体流的类型、编解码器信息、网络地址等。

  2. 设置参数 ：客户端可以根据媒体描述设置播放参数，如选择特定的媒体流、设置传输模式等。这通常通过发送SETUP请求来实现。

  3. 开始播放 ：一旦设置了必要的参数，客户端就可以通过发送PLAY请求来启动媒体流的传输。服务器将开始通过RTP等协议发送媒体数据到客户端。

  4. 控制播放 ：在播放过程中，客户端可以发送各种控制命令，如PAUSE、RESUME、TEARDOWN等，来暂停、恢复或停止媒体流的传输。

  5. 结束会话 ：当客户端完成媒体流的播放后，它应该发送TEARDOWN请求来关闭会话，并释放服务器资源。

需要注意的是，RTSP主要关注于流媒体的控制层面，而实际的媒体数据传输则依赖于其他协议（如RTP）。因此，在实现RTSP播放器时，通常需要与RTP等协议配合使用。

在Android平台上，开发者如果是学习的角度，可以使用Android原生的MediaPlayer类来播放RTSP流，也可以利用一些开源库来简化开发过程。这些库通常封装了底层的网络通信和媒体解码过程，使得开发者可以更容易地实现RTSP播放器的功能，如果是商业级的产品，要么用第三方成熟的RTSP播放方案，要么提升自己的音视频实战和代码能力，自己能手撕开源播放器。

RTSP播放器实现

本文以大牛直播SDK的Windows平台RTSP播放器为例，介绍下相关的技术实现。SmartPlayer，行业内一致认可的跨平台RTSP直播播放器SDK，功能齐全、高稳定、超低延迟，超低资源占用，适用于安防、教育、单兵指挥等行业。

RTSP播放器设计要点

  1. ****低延迟：****大多数RTSP的播放都面向直播场景，所以，如果延迟过大，严重影响体验，所以，低延迟是衡量一个好的RTSP播放器非常重要的指标，目前大牛直播SDK的RTSP直播播放延迟比开源播放器更优异，而且长时间运行下，不会造成延迟累积；

2. 音视频同步 处理 ****：****有些播放器为了追求低延迟，甚至不做音视频同步，拿到audio video直接播放，导致a/v不同步，还有就是时间戳乱跳等各种问题，大牛直播SDK提供的播放器，具备好的时间戳同步和异常时间戳矫正机制；

****3. 支持多实例：****大牛直播SDK提供的播放器支持同时播放多路音视频数据，比如4-8-9窗口，大多开源播放器对多实例支持不太友好；

****4. 支持buffer time设置：****在一些有网络抖动的场景，播放器需要支持buffer time设置，一般来说，以毫秒计，开源播放器对此支持不够友好；

5. TCP/UDP模式 设定 、 自动 ****切换：****考虑到好多服务器仅支持TCP或UDP模式，一个好的RTSP播放器需要支持TCP/UDP模式设置，如链接不支持TCP或UDP，大牛直播SDK可自动切换，，开源播放器不具备自动切换TCP/UDP能力；

6. 实时 ****静音：****比如，多窗口播放RTSP流，如果每个audio都播放出来，体验非常不好，所以实时静音功能非常必要，开源播放器不具备实时静音功能；

7 ****. 视频view旋转：****好多摄像头由于安装限制，导致图像倒置，所以一个好的RTSP播放器应该支持如视频view实时旋转(0° 90° 180° 270°)、水平反转、垂直反转，开源播放器不具备此功能；

8 ****. 支持解码后audio/video数据输出：****大牛直播SDK接触到好多开发者，希望能在播放的同时，获取到YUV或RGB数据，进行人脸匹配等算法分析，开源播放器不具备此功能；

9 . 实时 ****快照：****感兴趣或重要的画面，实时截取下来非常必要，一般播放器不具备快照能力，开源播放器不具备此功能；

1 0 ****. 网络抖动处理(如断网重连)：****稳定的网络处理机制、支持如断网重连等，开源播放器对网络异常处理支持较差；

11. ****长期运行稳定性：****不同于市面上的开源播放器，大牛直播SDK提供的Windows平台RTSP直播播放SDK适用于数天长时间运行，开源播放器对长时间运行稳定性支持较差；

  1. ****log信息记录：****整体流程机制记录到LOG文件，确保出问题时，有据可依，开源播放器几无log记录。

1 3 . 实时下载速度 ****反馈：****大牛直播SDK提供音视频流实时下载回调，并可设置回调时间间隔，确保实时下载速度反馈，以此来监听网络状态，开源播放器不具备此能力；

1 4 . 异常状态处理 、 Event状态回调 ****：****如播放的过程中，断网、网络抖动、等各种场景，大牛直播SDK提供的播放器可实时回调相关状态，确保上层模块感知处理，开源播放器对此支持不好；

**15. 关键帧/全帧播放实时切换：**特别是播放多路画面的时候，如果路数过多，全部解码、绘制，系统资源占用会加大，如果能灵活的处理，可以随时只播放关键帧，全帧播放切换，对系统性能要求大幅降低。

功能设计

  • [支持播放协议]高稳定、超低延迟、业内首屈一指的RTSP直播播放器SDK；
  • [多实例播放]支持多实例播放；
  • [事件回调]支持网络状态、buffer状态等回调；
  • [视频格式]支持H.265、H.264，此外，还支持RTSP MJPEG播放；
  • [音频格式]支持AAC/PCMA/PCMU；
  • [H.264/H.265软解码]支持H.264/H.265软解；
  • [H.264硬解码]Windows/Android/iOS支持特定机型H.264硬解；
  • [H.265硬解]Windows/Android/iOS支持特定机型H.265硬解；
  • [H.264/H.265硬解码]Android支持设置Surface模式硬解和普通模式硬解码；
  • [RTSP模式设置]支持RTSP TCP/UDP模式设置；
  • [RTSP TCP/UDP自动切换]支持RTSP TCP、UDP模式自动切换；
  • [RTSP超时设置]支持RTSP超时时间设置，单位：秒；
  • [RTSP 401认证处理]支持上报RTSP 401事件，如URL携带鉴权信息，会自动处理；
  • [缓冲时间设置]支持buffer time设置；
  • [首屏秒开]支持首屏秒开模式；
  • [复杂网络处理]支持断网重连等各种网络环境自动适配；
  • [快速切换URL]支持播放过程中，快速切换其他URL，内容切换更快；
  • [音视频多种render机制]Android平台，视频：surfaceview/OpenGL ES，音频：AudioTrack/OpenSL ES；
  • [实时静音]支持播放过程中，实时静音/取消静音；
  • [实时音量调节]支持播放过程中实时调节音量；
  • [实时快照]支持播放过程中截取当前播放画面；
  • [只播关键帧]Windows平台支持实时设置是否只播放关键帧；
  • [渲染角度]支持0°，90°，180°和270°四个视频画面渲染角度设置；
  • [渲染镜像]支持水平反转、垂直反转模式设置；
  • [等比例缩放]支持图像等比例缩放绘制(Android设置surface模式硬解模式不支持)；
  • [实时下载速度更新]支持当前下载速度实时回调(支持设置回调时间间隔)；
  • [解码前视频数据回调]支持H.264/H.265数据回调；
  • [解码后视频数据回调]支持解码后YUV/RGB数据回调；
  • [解码前音频数据回调]支持AAC/PCMA/PCMU数据回调；
  • [音视频自适应]支持播放过程中，音视频信息改变后自适应；
  • [扩展录像功能]完美支持和录像SDK组合使用。

本文大牛直播SDK的Windows RTSP播放器C#的接口调用示例，解读下一个好的RTSP播放器，需要做怎样的功能实现和接口设计。

设置日志存放路径

一个好的RTSP播放器，需要能对播放关键日志进行收集，方便后续产品上线后问题跟踪。设置log路径，需要在player_api_.Init之前添加下面的代码：

cs 复制代码 
// 设置日志路径(请确保目录存在)
String log_path = "D:\\playerlog";
NTSmartLog.NT_SL_SetPath(log_path);

如目录存在，并具备文件写入权限，关闭应用程序后，相关文件夹下会有smart_sdk.log生成。

初始化SDK

NT_SP_Init：SDK初始化，多实例播放，此接口仅需调用一次即可。

特定机型硬解码检测

如系统用于特定机型环境下，特别是多路播放场景，需用到硬解码的话，可以用以下两组接口检测系统是否支持硬解。

注：在软解性能满足系统需求的前提下，一般建议优先使用软解。

cs 复制代码 
/*
 * smart_player_sdk.cs
 * Author: daniusdk.com
 * WeChat: xinsheng120
 */
/*
 * 检查是否支持H264硬解码
 * 如果支持的话返回NT_ERC_OK
 */
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_IsSupportH264HardwareDecoder();

/*
  * 检查是否支持H265硬解码
  * 如果支持的话返回NT_ERC_OK
  */
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_IsSupportH265HardwareDecoder();

如需使用硬解码，调用如下接口即可：

cs 复制代码 
NTSmartPlayerSDK.NT_SP_SetH264HardwareDecoder(player_handle_, is_support_h264_hardware_decoder_ ? 1 : 0, 0);
NTSmartPlayerSDK.NT_SP_SetH265HardwareDecoder(player_handle_, is_support_h265_hardware_decoder_ ? 1 : 0, 0);

Open生成播放实例

NT_SP_Open：每调用一次Open接口，对应一个播放实例，如需播放多实例，对应多个player handler。

cs 复制代码 
if (player_handle_ == IntPtr.Zero)
{
    player_handle_ = new IntPtr();

    UInt32 ret_open = NTSmartPlayerSDK.NT_SP_Open(out player_handle_, IntPtr.Zero, 0, IntPtr.Zero);

    if (ret_open != 0)
    {
        player_handle_ = IntPtr.Zero;
        MessageBox.Show("调用NT_SP_Open失败..");
        return;
    }
}

设置回调事件

  1. NT_SP_SetEventCallBack：用于回调网络链接状态、buffer状态(开始、buffer比例、结束)、实时带宽等，对应EventID如下：
cs 复制代码 
/*事件ID*/
public enum NT_SP_E_EVENT_ID : uint
{
        NT_SP_E_EVENT_ID_BASE = NTBaseCodeDefine.NT_EVENT_ID_SMART_PLAYER_SDK,

        NT_SP_E_EVENT_ID_CONNECTING          = NT_SP_E_EVENT_ID_BASE | 0x2, /*连接中*/
        NT_SP_E_EVENT_ID_CONNECTION_FAILED = NT_SP_E_EVENT_ID_BASE | 0x3, /*连接失败*/
        NT_SP_E_EVENT_ID_CONNECTED       = NT_SP_E_EVENT_ID_BASE | 0x4, /*已连接*/
        NT_SP_E_EVENT_ID_DISCONNECTED     = NT_SP_E_EVENT_ID_BASE | 0x5, /*断开连接*/
        NT_SP_E_EVENT_ID_NO_MEDIADATA_RECEIVED = NT_SP_E_EVENT_ID_BASE | 0x8,  /*收不到RTMP数据*/
        NT_SP_E_EVENT_ID_RTSP_STATUS_CODE   = NT_SP_E_EVENT_ID_BASE | 0xB,  /*rtsp status code上报, 目前只上报401, param1表示status code*/

        /* 接下来请从0x81开始*/
        NT_SP_E_EVENT_ID_START_BUFFERING = NT_SP_E_EVENT_ID_BASE | 0x81, /*开始缓冲*/
        NT_SP_E_EVENT_ID_BUFFERING     = NT_SP_E_EVENT_ID_BASE | 0x82, /*缓冲中, param1 表示百分比进度*/
        NT_SP_E_EVENT_ID_STOP_BUFFERING  = NT_SP_E_EVENT_ID_BASE | 0x83, /*停止缓冲*/

        NT_SP_E_EVENT_ID_DOWNLOAD_SPEED  = NT_SP_E_EVENT_ID_BASE | 0x91, /*下载速度， param1表示下载速度，单位是(Byte/s)*/

        NT_SP_E_EVENT_ID_PLAYBACK_REACH_EOS = NT_SP_E_EVENT_ID_BASE | 0xa1,     /*播放结束, 直播流没有这个事件，点播流才有*/
        NT_SP_E_EVENT_ID_RECORDER_REACH_EOS = NT_SP_E_EVENT_ID_BASE | 0xa2,     /*录像结束, 直播流没有这个事件, 点播流才有*/
        NT_SP_E_EVENT_ID_PULLSTREAM_REACH_EOS = NT_SP_E_EVENT_ID_BASE | 0xa3,   /*拉流结束, 直播流没有这个事件，点播流才有*/

        NT_SP_E_EVENT_ID_DURATION = NT_SP_E_EVENT_ID_BASE | 0xa8, /*视频时长，如果是直播，则不上报，如果是点播的话, 若能从视频源获取视频时长的话，则上报， param1表示视频时长，单位是毫秒(ms)*/
}
  1. NT_SP_SetVideoSizeCallBack：设置视频分辨率回调，如流数据携带视频数据，SDK会回上来视频宽高信息：
cs 复制代码 
//video resolution callback
video_size_call_back_ = new SP_SDKVideoSizeCallBack(SP_SDKVideoSizeHandle);
NTSmartPlayerSDK.NT_SP_SetVideoSizeCallBack(player_handle_, IntPtr.Zero, video_size_call_back_);

****注意：****视频宽高回上来或绘制窗口发生变化时，记得调用NT_SP_OnWindowSize()更新，如不调用可能会引起视频模糊。

cs 复制代码 
private void PlaybackWindowResized(Int32 width,Int32 height)
{
    width_=width;
    height_=height;

    int left=playWnd.Left;
    int top=playWnd.Top;

    textBox_resolution.Text=width+"*"+height;

    if(player_handle_==IntPtr.Zero)
    {
       return;
    }

    NTSmartPlayerSDK.NT_SP_OnWindowSize(player_handle_,playWnd.Width,playWnd.Height);
}
  1. NT_SP_SetVideoFrameCallBack：设置YUV/RGB32数据回调，可用于对接第三方视频分析，或自行绘制等，如系统不支持D3D绘制，可设置回调数据，上层GDI模式绘制：
cs 复制代码 
/*定义视频帧图像格式*/
public enum NT_SP_E_VIDEO_FRAME_FORMAT : uint
{
      NT_SP_E_VIDEO_FRAME_FORMAT_RGB32 = 1, // 32位的rgb格式, r, g, b各占8, 另外一个字节保留, 内存字节格式为: bb gg rr xx, 主要是和windows位图匹配, 在小端模式下，按DWORD类型操作，最高位是xx, 依次是rr, gg, bb
      NT_SP_E_VIDEO_FRAME_FORMAT_ARGB = 2, // 32位的argb格式，内存字节格式是: bb gg rr aa 这种类型，和windows位图匹配
      NT_SP_E_VIDEO_FRAME_FROMAT_I420 = 3, // YUV420格式, 三个分量保存在三个面上
}
  1. NT_SP_SetVideoFrameCallBackV2：设置YUV/RGB32数据回调，与NT_SP_SetVideoFrameCallBack接口的不同在于，吐出来的视频数据, 可以指定宽高；
  2. NT_SP_SetRenderVideoFrameTimestampCallBack：设置绘制视频帧时，视频帧时间戳回调，一般播放器无时间戳回调需求的话，无需设置：
cs 复制代码 
//video timestamp callback
video_frame_ts_callback_ = new SP_SDKRenderVideoFrameTimestampCallBack(SP_SDKRenderVideoFrameTimestampCallBack);
NTSmartPlayerSDK.NT_SP_SetRenderVideoFrameTimestampCallBack(player_handle_, IntPtr.Zero, video_frame_ts_callback_);
  1. NT_SP_SetAudioPCMFrameCallBack：设置音频PCM帧回调, 吐PCM数据出来，目前每帧大小是10ms，一般播放器无使用需求的话，无需设置；
  1. NT_SP_SetUserDataCallBack：设置用户数据回调，此接口需要和推送端SDK配套使用，用于返回推送端设定的实时用户数据（如时间戳、经纬度等各种扩展指令或信息），如只是单纯使用播放SDK，无需设置；
  1. NT_SP_SetSEIDataCallBack：设置视频SEI数据回调，如只是单纯使用播放SDK，不需要额外处理扩展SEI数据的话，无需设置。

D3DRender检测

目前，几乎很少存在不支持D3D绘制的情况，考虑到系统通用性，我们在播放之前，先做检测，具体调用接口如下：

cs 复制代码 
/*
 * handle: 播放句柄
 * hwnd: 这个要传入真正用来绘制的窗口句柄
 * is_support: 如果支持的话 *is_support 为1， 不支持的话为0
 * 接口调用成功返回NT_ERC_OK
 */
[DllImport(@"SmartPlayerSDK.dll")]
public static extern UInt32 NT_SP_IsSupportD3DRender(IntPtr handle, IntPtr hwnd, ref Int32 is_support);

对于不支持D3D绘制的情况下，设置回调YUV数据，上层直接用GDI模式绘制，注意：GDI绘制效率偏低。

cs 复制代码 
Int32 in_support_d3d_render = 0;

if (NT.NTBaseCodeDefine.NT_ERC_OK == NTSmartPlayerSDK.NT_SP_IsSupportD3DRender(player_handle_, playWnd.Handle, ref in_support_d3d_render))
{
    if (1 == in_support_d3d_render)
    {
        is_support_d3d_render = true;
    }
}

if (is_support_d3d_render)
{
    is_gdi_render_ = false;

    // 支持d3d绘制的话，就用D3D绘制
    NTSmartPlayerSDK.NT_SP_SetRenderWindow(player_handle_, playWnd.Handle);

    if (btn_check_render_scale_mode.Checked)
    {
        NTSmartPlayerSDK.NT_SP_SetRenderScaleMode(player_handle_, 1);
    }
    else
    {
        NTSmartPlayerSDK.NT_SP_SetRenderScaleMode(player_handle_, 0);
    }
}
else
{
    is_gdi_render_ = true;
    playWnd.Visible = false;

    // 不支持D3D就让播放器吐出数据来，用GDI绘制

    //video frame callback (YUV/RGB)
    //format请参见 NT_SP_E_VIDEO_FRAME_FORMAT，如需回调YUV，请设置为 NT_SP_E_VIDEO_FRAME_FROMAT_I420
    video_frame_call_back_ = new SP_SDKVideoFrameCallBack(SetVideoFrameCallBack);
NTSmartPlayerSDK.NT_SP_SetVideoFrameCallBack(player_handle_, (Int32)NT.NTSmartPlayerDefine.NT_SP_E_VIDEO_FRAME_FORMAT.NT_SP_E_VIDEO_FRAME_FORMAT_RGB32, IntPtr.Zero, video_frame_call_back_);
}

设置播放URL

NT_SP_SetURL：支持rtsp/rtmp/本地FLV文件(全路径)。

设置回调PCM

NT_SP_SetIsOutputAudioDevice：设置是否播放出声音，这个和静音接口是有区别的，这个接口的主要目的是为了用户设置了外部PCM回调接口后，又不想让SDK播放出声音时使用。

RTMP/RTSP播放参数设置

具体可参照Demo源码里面InitCommonSDKParam()：

播放前可选设置接口

  1. NT_SP_SetBuffer：设置视频播放缓冲buffer大小，单位：毫秒；
  2. NT_SP_SetRTSPTcpMode：设置RTSP TCP 模式, 1为TCP, 0为UDP, 此接口仅RTSP有效；
  3. NT_SP_SetRtspTimeout：设置RTSP超时时间, timeout单位为秒，必须大于0；
  4. NT_SP_SetRtspAutoSwitchTcpUdp：对于RTSP来说，有些可能支持rtp over udp方式，有些可能支持使用rtp over tcp方式. 为了方便使用，有些场景下可以开启自动尝试切换开关, 打开后如果udp无法播放，sdk会自动尝试tcp, 如果tcp方式播放不了,sdk会自动尝试udp， is_auto_switch_tcp_udp： 如果设置1的话, sdk将在tcp和udp之间尝试切换播放，如果设置为0，则不尝试切换；
  5. NT_SP_SetFastStartup：设置秒开, 1为秒开, 0为不秒开，此接口用于如RTMP服务器缓存GOP时，酌情使用；
  6. NT_SP_SetLowLatencyMode：设置低延时播放模式，默认是正常播放模式，mode: 1为低延时模式， 0为正常模式，低延迟模式下，可能会导致音视频不同步，或视频帧不均匀；
  7. NT_SP_SetReportDownloadSpeed：设置下载速度上报, 默认不上报下载速度；

* is_report: 上报开关, 1: 表上报. 0: 表示不上报. 其他值无效.

* report_interval： 上报时间间隔（上报频率），单位是秒，最小值是1秒1次. 如果小于1且设置了上报，将调用失败

* 注意：如果设置上报的话，请设置SetEventCallBack, 然后在回调函数里面处理这个事件.

* 上报事件是：NT_SP_E_EVENT_ID_DOWNLOAD_SPEED

  1. NT_SP_GetDownloadSpeed：主动获取下载速度，speed： 返回下载速度，单位是Byte/s；
  2. NT_SP_SetParam：万能接口, 设置参数， 大多数问题， 这些接口都能解决；
  3. NT_SP_GetParam：万能接口, 得到参数， 大多数问题，这些接口都能解决；

播放前后可实时调用的接口

  1. NT_SP_SetMute：播放过程中，实时静音、取消静音，可播放之前调用，亦或播放过程中实时调用；
  2. NT_SP_SetAudioVolume：不同于实时静音接口，此接口可以更细粒度的控制音量，默认范围[0,100]，其中0是静音，100是最大音量, 默认是100；
  3. NT_SP_SetOnlyDecodeVideoKeyFrame：多窗口播放场景下，部分窗口可能只需要播放关键帧，如有类似场景需求，可用此接口；
  4. NT_SP_SetRotation：设置视频View旋转，顺时针旋转，degress： 设置0， 90， 180， 270度有效，其他值无效，注意：除了0度，其他角度播放会耗费更多CPU；
  5. NT_SP_SetFlipVertical：设置视频View上下反转(垂直反转)；
  6. NT_SP_SetFlipHorizontal：设置视频View水平反转；
  7. NT_SP_SetRenderScaleMode:设置视频画面的填充模式，如填充整个绘制窗口、等比例填充绘制窗口，如不设置，默认填充整个绘制窗口；

开始播放

NT_SP_StartPlay

开始播放RTMP或RTSP流数据。

RTMP/RTSP拉流端录像

  1. NT_SP_SetRecorderDirectory：设置录像目录
  2. NT_SP_SetRecorderFileMaxSize：设置单个文件最大大小
  3. NT_SP_SetRecorderFileNameRuler：设置录像文件名生成规则
  4. NT_SP_SetRecorderCallBack：设置录像回调接口
  5. NT_SP_SetRecorderAudioTranscodeAAC：设置录像时音频转AAC编码的开关, aac比较通用，sdk增加其他音频编码(比如speex, pcmu, pcma等)转aac的功能
  6. NT_SP_SetRecorderVideo：设置是否录视频，默认的话，如果视频源有视频就录，没有就没得录, 但有些场景下可能不想录制视频，只想录音频，所以增加个开关
  7. NT_SP_SetRecorderAudio：设置是否录音频，默认的话，如果视频源有音频就录，没有就没得录, 但有些场景下可能不想录制音频，只想录视频，所以增加个开关
  8. NT_SP_StartRecorder：启动录像
  9. NT_SP_StopRecorder：停止录像

实时快照

NT_SP_CaptureImage

用于播放端实时截取当前播放图片，图片以PNG形式保存至本地。

cs 复制代码 
String name = capture_image_path_ + "\\" +  DateTime.Now.ToString("hh-mm-ss") + ".png";

byte[] buffer1 = Encoding.Default.GetBytes(name);
byte[] buffer2 = Encoding.Convert(Encoding.Default, Encoding.UTF8, buffer1, 0, buffer1.Length);

byte[] buffer3 = new byte[buffer2.Length + 1];
buffer3[buffer2.Length] = 0;

Array.Copy(buffer2, buffer3, buffer2.Length);

IntPtr file_name_ptr = Marshal.AllocHGlobal(buffer3.Length);
Marshal.Copy(buffer3, 0, file_name_ptr, buffer3.Length);

capture_image_call_back_ = new SP_SDKCaptureImageCallBack(SDKCaptureImageCallBack);

UInt32 ret = NTSmartPlayerSDK.NT_SP_CaptureImage(player_handle_, file_name_ptr, IntPtr.Zero, capture_image_call_back_);

Marshal.FreeHGlobal(file_name_ptr);

if (NT.NTBaseCodeDefine.NT_ERC_OK == ret)
{
    // 发送截图请求成功
}
else if ((UInt32)NT.NTSmartPlayerDefine.SP_E_ERROR_CODE.NT_ERC_SP_TOO_MANY_CAPTURE_IMAGE_REQUESTS == ret)
{
    // 通知用户延时
    MessageBox.Show("Too many capture image requests!");
}
else
{
    // 其他失败
}

快速切换URL

NT_SP_SwitchURL

快速切换URL，用于不用析构整个player实例的前提下，实时切换播放的URL。

用户数据回调

NT_SP_SetUserDataCallBack

设置用户数据回调，用于接收扩展SEI模块发送的用户数据信息，如不是配合我们扩展SEI发送DK，此接口无需调用。

SEI数据回调

NT_SP_SetSEIDataCallBack

设置视频sei数据回调，用于接收SEI数据回调，如流数据不存在SEI或不准备处理SEI数据，此接口无需调用。

停止播放

NT_SP_StopPlay

停止播放RTMP或RTSP流数据。

关闭播放实例

NT_SP_Close

调用Close接口后，player handler置空。

cs 复制代码 
if ( player_handle_ != IntPtr.Zero)
{
     NTSmartPlayerSDK.NT_SP_Close(player_handle_);
     player_handle_ = IntPtr.Zero;
}

Uninit

NT_SP_UnInit

UnInit() 是SDK最后一个调用的接口，多实例环境下，只需要调用一次即可。

相关推荐
音视频牛哥8 天前
探秘SmartMediakit：低延迟直播方案全方位解析与多元场景展望
音视频·实时音视频·大牛直播sdk·gb28181·rtsp播放器·rtmp播放器·rtsp服务器
音视频牛哥24 天前
Android中ByteBuffer内存池设计示例
android·大牛直播sdk·bytebuffer·bytebuffer内存池·android内存池·bytebuffer用法
音视频牛哥1 个月前
音视频技术扫盲之预测编码的基本原理探究
音视频·实时音视频·大牛直播sdk·音视频开发·视频编解码·预测编码·预测编码原理
音视频牛哥1 个月前
Android音视频直播低延迟探究之：WLAN低延迟模式
android·音视频·实时音视频·大牛直播sdk·rtsp播放器·rtmp播放器·android rtmp
音视频牛哥2 个月前
480p 720p 1080p 2k 4k 8k 12k分辨率视频分别占用多大带宽？
音视频·实时音视频·大牛直播sdk·8k编码·12k编码·rtmp 4k·rtmp 8k
音视频牛哥2 个月前
GB/T28181-2022规范解读、应用场景和技术实现探究
音视频·实时音视频·大牛直播sdk·gb28181 android·gb28181客户端·gb28181-2022·gb/t28181-2022
音视频牛哥2 个月前
QUIC（Quick UDP Internet Connections）与 RTMP（Real Time Messaging Protocol）
网络·网络协议·udp·大牛直播sdk·rtmp播放器·quic播放器·quic与rtmp区别
音视频牛哥2 个月前
Android平台RTSP|RTMP播放器PK：VLC for Android还是SmartPlayer？
大牛直播sdk·rtsp播放器·rtmp播放器·android rtmp播放器·android rtsp播放器·安卓rtsp播放器·安卓rtmp播放器
热门推荐
01〔AI 绘画〕Stable Diffusion 之 解决绘制多人或面部很小的人物时面部崩坏问题 篇02YOLOv8训练好模型后，追加轮数继续训练、或者提前终止训练，缩减训练轮数03玄机平台应急响应—webshell查杀04SQL 主从数据库实时备份05HCIA-datacom数通题库和录播视频资料06Docker 夺命连环 15 问07VSCode插件 —— Cody AI （免费AI助手！）08校验 GPT-4 真实性的三个经典问题：快速区分 GPT-3.5 与 GPT-4，并提供免费测试网站09(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明10组基轨迹建模 GBTM的介绍与实现（Stata 或 R）