Android平台一对一音视频通话方案对比：WebRTC VS RTMP VS RTSP

音视频牛哥2023-08-14 23:59

一对一音视频通话使用场景

一对一音视频通话都需要稳定、清晰和流畅，以确保良好的用户体验，常用的使用场景如下：

  1. 社交应用：社交应用是一种常见的使用场景，用户可以通过音视频通话进行面对面的交流；
  2. **在线教育：**老师和学生可以通过音视频通话功能进行实时互动，提高教学效率；
  3. 远程协助：在某些工作场景下，比如应急指挥项目，需要通过音视频通话功能进行远程协助，进行技术支持、维修服务等；
  4. 视频会议：一对一的音视频通话是视频会议非常重要的一部分，用于两个参会者之间的沟通，当然也可以合流输出；
  5. 语音通话：使用语音通话，如在行车过程中，此时语音通话就是一个很好的选择。

一对一音视频通话技术方案

WebRTC方案

在Android平台上实现一对一音视频通话，你可以使用WebRTC，WebRTC提供了实时音视频通话的功能。以下是一个简单的步骤说明如何实现：

  1. 设置环境：首先，你需要在你的开发环境中安装Android Studio，并且配置好必要的SDK；
  2. 添加依赖：在你的项目中，你需要添加WebRTC的库。在你的build.gradle文件中添加如下依赖；
  3. 实现音视频捕获：你需要实现音视频的捕获。在Java中，你可以使用AudioRecord和VideoCapturer类来实现；
  4. 创建PeerConnection：创建PeerConnection对象，这个对象会用于音视频的编解码和网络传输；
  5. 显示本地音视频流：使用MediaStream.VideoTrack和MediaStream.AudioTrack将捕获的音视频流添加到PeerConnection中，然后通过VideoRenderer和AudioRenderer显示出来；
  6. 创建并发送offer：创建并发送一个offer，这个offer包含了你的音视频通道信息以及你愿意接受的连接参数；
  7. 接收并解析offer：在另一端，接收到offer后，解析出音视频通道信息以及连接参数，然后创建并返回一个answer；
  8. 接收answer：在本地，接收到answer后，解析出音视频通道信息以及连接参数，然后创建并启动对应的通道。

RTMP方案

RTMP是一种基于TCP的流媒体协议，主要用于视频直播。它提供了实时传输音频和视频的功能，可以用于一对一或一对多的场景，RTMP可用于内网或公网环境下，缺点是需要单独部署RTMP Server，数据通过RTMP Server中转，配合低延迟的RTMP Player，互动可以很轻松的在毫秒级。

以大牛直播SDK的demo为例，RTMP推送的代码如下：

java 复制代码 
class ButtonPushStartListener implements OnClickListener
    {
        public void onClick(View v)
        {    
        	if (isPushingRtmp)
        	{
        		stopPush();

				btnPushStartStop.setText("推送RTMP");
				isPushingRtmp = false;
				return;
        	}

			Log.i(PUSH_TAG, "onClick start push rtmp..");

			if (libPublisher == null)
				return;

			InitPusherAndSetConfig();

			Log.i(PUSH_TAG, "videoWidth: "+ pushVideoWidth + " videoHeight: " + pushVideoHeight + " pushType:" + pushType);

			if ( libPublisher.SmartPublisherSetURL(publisherHandle, publishURL) != 0 )
			{
				Log.e(PUSH_TAG, "Failed to set rtmp pusher URL..");
			}

			int startRet = libPublisher.SmartPublisherStartPublisher(publisherHandle);
			if (startRet != 0) {
				isPushingRtmp = false;

				Log.e(TAG, "Failed to start push stream..");
				return;
			}

			CheckInitAudioRecorder();

			btnPushStartStop.setText("停止推送 ");
			isPushingRtmp = true;
    };

停止RTMP推送：

java 复制代码 
//停止rtmp推送
private void stopPush() {
  if(!isPushingRtmp)
  {
    return;
  }
  if ( !isRTSPPublisherRunning) {
    if (audioRecord_ != null) {
      Log.i(TAG, "stopPush, call audioRecord_.StopRecording..");

      audioRecord_.Stop();

      if (audioRecordCallback_ != null) {
        audioRecord_.RemoveCallback(audioRecordCallback_);
        audioRecordCallback_ = null;
      }

      audioRecord_ = null;
    }
  }

  if (libPublisher != null) {
    libPublisher.SmartPublisherStopPublisher(publisherHandle);
  }

  if (!isRTSPPublisherRunning) {
    if (publisherHandle != 0) {
      if (libPublisher != null) {
        libPublisher.SmartPublisherClose(publisherHandle);
        publisherHandle = 0;
      }
    }
  }
}

RTMP播放：

java 复制代码 
        btnPlaybackStartStopPlayback.setOnClickListener(new Button.OnClickListener() 
        {  
        	  
            //  @Override  
              public void onClick(View v) {  
	              
            	  if(isPlaybackViewStarted)
            	  {
            		  btnPlaybackStartStopPlayback.setText("开始播放 ");

                  if ( playerHandle != 0 )
                  {
                    libPlayer.SmartPlayerStopPlay(playerHandle);
                    libPlayer.SmartPlayerClose(playerHandle);
                    playerHandle = 0;
                  }

            		  isPlaybackViewStarted = false;
            	  }
            	  else
            	  {
            		  Log.i(PLAY_TAG, "Start playback stream++");
            		  
            		  playerHandle = libPlayer.SmartPlayerOpen(curContext);

            	      if(playerHandle == 0)
            	      {
            	    	  Log.e(PLAY_TAG, "sur faceHandle with nil..");
            	    	  return;
            	      }

                  libPlayer.SetSmartPlayerEventCallbackV2(playerHandle,
                      new EventHandePlayerV2());

                  libPlayer.SmartPlayerSetSur face(playerHandle, playerSur faceView); 	//if set the second param with null, it means it will playback audio only..

                  libPlayer.SmartPlayerSetRenderScaleMode(playerHandle, 1);

                  libPlayer.SmartPlayerSetExternalAudioOutput(playerHandle, new PlayerExternalPcmOutput());

                  libPlayer.SmartPlayerSetAudioOutputType(playerHandle, 1);

                  libPlayer.SmartPlayerSetBuffer(playerHandle, playbackBuffer);

                  libPlayer.SmartPlayerSetFastStartup(playerHandle, isPlaybackFastStartup?1:0);
            	      
            	      
            	      if ( isPlaybackMute )
            	      {
            	    	  libPlayer.SmartPlayerSetMute(playerHandle, isPlaybackMute?1:0);
            	      }
            	      
                  if (isPlaybackHardwareDecoder) {
                    int isSupportHevcHwDecoder = libPlayer.SetSmartPlayerVideoHevcHWDecoder(playerHandle,1);

                    int isSupportH264HwDecoder = libPlayer
                        .SetSmartPlayerVideoHWDecoder(playerHandle,1);

                    Log.i(TAG, "isSupportH264HwDecoder: " + isSupportH264HwDecoder + ", isSupportHevcHwDecoder: " + isSupportHevcHwDecoder);
                  }

	              	  libPlayer.SmartPlayerSetAudioVolume(playerHandle, curAudioVolume);

	              	  libPlayer.SmartPlayerSetUrl(playerHandle, playbackUrl);
	              	  
	              	  int iPlaybackRet = libPlayer.SmartPlayerStartPlay(playerHandle);
	              	  	              	  
	                  if( iPlaybackRet != 0 )
	                  {
                      libPlayer.SmartPlayerClose(playerHandle);
                      playerHandle = 0;
                             Log.e(PLAY_TAG, "StartPlayback strem failed.."); 
                             return;
	                  }
	
	        		  btnPlaybackStartStopPlayback.setText("停止播放 ");
	                 	                  
	        		  btnPlaybackPopInputUrl.setEnabled(false);
	                  btnPlaybackHardwareDecoder.setEnabled(false);
	                  
	                  btnPlaybackSetPlayBuffer.setEnabled(false);
                  	  btnPlaybackFastStartup.setEnabled(false);
	                  
	              	  isPlaybackViewStarted = true;
	              	  Log.i(PLAY_TAG, "Start playback stream--");
	        	  }
	          	}
        });

轻量级RTSP服务+RTSP播放方案

纯内网环境下，两个终端可同时开启轻量级RTSP服务，然后相互拉取对方回调上来的RTSP URL，通过回音消除等，实现智能化场景的一对一音视频互动，不然智能门禁等场景，均可使用，实测延迟毫秒级，不影响互动体验，效果非常好：

对应的代码如下：

java 复制代码 
    //Author: daniusdk.com    
    //启动/停止RTSP服务
    class ButtonRtspServiceListener implements OnClickListener {
        public void onClick(View v) {
            if (isRTSPServiceRunning) {
                stopRtspService();

                btnRtspService.setText("启动RTSP服务");
                btnRtspPublisher.setEnabled(false);

                isRTSPServiceRunning = false;
                return;
            }

            Log.i(TAG, "onClick start rtsp service..");

            rtsp_handle_ = libPublisher.OpenRtspServer(0);

            if (rtsp_handle_ == 0) {
                Log.e(TAG, "创建rtsp server实例失败! 请检查SDK有效性");
            } else {
                int port = 8554;
                if (libPublisher.SetRtspServerPort(rtsp_handle_, port) != 0) {
                    libPublisher.CloseRtspServer(rtsp_handle_);
                    rtsp_handle_ = 0;
                    Log.e(TAG, "创建rtsp server端口失败! 请检查端口是否重复或者端口不在范围内!");
                }

                //String user_name = "admin";
                //String password = "12345";
                //libPublisher.SetRtspServerUserNamePassword(rtsp_handle_, user_name, password);


                if (libPublisher.StartRtspServer(rtsp_handle_, 0) == 0) {
                    Log.i(TAG, "启动rtsp server 成功!");
                } else {
                    libPublisher.CloseRtspServer(rtsp_handle_);
                    rtsp_handle_ = 0;
                    Log.e(TAG, "启动rtsp server失败! 请检查设置的端口是否被占用!");
                }

                btnRtspService.setText("停止RTSP服务");
                btnRtspPublisher.setEnabled(true);

                isRTSPServiceRunning = true;
            }
        }
    }

发布RTSP流：

java 复制代码 
    //发布/停止RTSP流
    class ButtonRtspPublisherListener implements OnClickListener {
        public void onClick(View v) {
            if (isRTSPPublisherRunning) {
                stopRtspPublisher();

                if (!isPushingRtmp) {
                    ConfigControlEnable(true);
                }

                btnRtspPublisher.setText("发布RTSP流");
                btnGetRtspSessionNumbers.setEnabled(false);
                btnRtspService.setEnabled(true);
                isRTSPPublisherRunning = false;

                return;
            }

            Log.i(TAG, "onClick start rtsp publisher..");

            if (!isPushingRtmp) {
                InitPusherAndSetConfig();
            }

            if (publisherHandle == 0) {
                Log.e(TAG, "Start rtsp publisher, publisherHandle is null..");
                return;
            }

            String rtsp_stream_name = "stream1";
            libPublisher.SetRtspStreamName(publisherHandle, rtsp_stream_name);
            libPublisher.ClearRtspStreamServer(publisherHandle);

            libPublisher.AddRtspStreamServer(publisherHandle, rtsp_handle_, 0);

            if (libPublisher.StartRtspStream(publisherHandle, 0) != 0) {
                Log.e(TAG, "调用发布rtsp流接口失败!");
                return;
            }

            if (!isPushingRtmp) {
                if (pushType == 0 || pushType == 1) {
                    CheckInitAudioRecorder();    //enable pure video publisher..
                }

                ConfigControlEnable(false);
            }

            startLayerPostThread();

            btnRtspPublisher.setText("停止RTSP流");
            btnGetRtspSessionNumbers.setEnabled(true);
            btnRtspService.setEnabled(false);
            isRTSPPublisherRunning = true;
        }
    }

获取RTSP流会话链接数：

java 复制代码 
//当前RTSP会话数弹出框
    private void PopRtspSessionNumberDialog(int session_numbers) {
        final EditText inputUrlTxt = new EditText(this);
        inputUrlTxt.setFocusable(true);
        inputUrlTxt.setEnabled(false);

        String session_numbers_tag = "RTSP服务当前客户会话数: " + session_numbers;
        inputUrlTxt.setText(session_numbers_tag);

        AlertDialog.Builder builderUrl = new AlertDialog.Builder(this);
        builderUrl
                .setTitle("内置RTSP服务")
                .setView(inputUrlTxt).setNegativeButton("确定", null);
        builderUrl.show();
    }

    //获取RTSP会话数
    class ButtonGetRtspSessionNumbersListener implements OnClickListener {
        public void onClick(View v) {
            if (libPublisher != null && rtsp_handle_ != 0) {
                int session_numbers = libPublisher.GetRtspServerClientSessionNumbers(rtsp_handle_);

                Log.i(TAG, "GetRtspSessionNumbers: " + session_numbers);

                PopRtspSessionNumberDialog(session_numbers);
            }
        }
    }

播放RTSP不再赘述，和播放RTMP一样，只是URL类型不一样，需要注意的是，不管走RTMP还是RTSP，都需要开启回音消除。

技术总结

Android平台一对一互动，纯内网环境下，不部署单独的流媒体服务器，走轻量级RTSP服务真的非常方便，如果需要扩展到公网业务，建议可以考虑RTMP，如果有很好的开发能力，也可以考虑WebRTC，具体根据实际场景选择即可。

相关推荐
杨筱毅13 小时前
【底层机制】ART虚拟机深度解析：Android运行时的架构革命
android·架构·底层机制
某空m14 小时前
【Android】活动的生命周期、启动模式及标记位
android
小柯博客15 小时前
交叉编译aws kvs webrtc
webrtc
WAsbry15 小时前
InputConnection机制与跨进程文本操作的工程实践
android·linux
WAsbry15 小时前
Android输入法框架的Binder通信机制剖析
android
WAsbry15 小时前
从一个Bug看Android文本编辑的设计缺陷
android·linux
沐怡旸15 小时前
【底层机制】Android低内存管理机制深度解析
android
骄傲的心别枯萎16 小时前
RV1126 NO.45:RV1126+OPENCV在视频中添加LOGO图像
人工智能·opencv·计算机视觉·音视频·rv1126
wuwu_q16 小时前
用通俗易懂 + Android 开发实战的方式讲解 Kotlin Flow 中的 filter 操作符
android·开发语言·kotlin
骄傲的心别枯萎17 小时前
RV1126 NO.46:RV1126+OPENCV对视频流进行视频膨胀操作
人工智能·opencv·计算机视觉·音视频·rv1126
热门推荐
01GitHub 镜像站点02UV安装并设置国内源03综合整理：pdf预览显示：你尝试预览的文件可能对你的计算机有害。如果你信任此文件以及其来源，请打开此文件以看其内容，如何解决以正常预览文件04安娜的档案(Anna’s Archive) 镜像网站/国内最新可访问入口（持续更新）05BongoCat - 跨平台键盘猫动画工具06Linux下V2Ray安装配置指南07Labelme从安装到标注：零基础完整指南08《大数据技术原理与应用》实验报告三 熟悉HBase常用操作09jdk21下载、安装（Windows、Linux、macOS）10NVIDIA显卡驱动、CUDA、cuDNN 和 TensorRT 版本匹配指南