平衡操控应用背景
平行操控场景，通过超低延时视频通信技术与实时信令技术结合，使得操作者可以实时的驾驶/操作远端的无人车或机械设备。
相比传统近距离的遥控，平行操控的传输网构建在互联网之上，突破了传统距离限制，操控者可以实时遥控几百甚至上千公里以外的设备。在平行操控的应用场景上，应急接管、高危作业和远程服务是平行操控典型的三个业务场景。
首先是应急接管，以无人车为例，无人车目前被广泛应用在机场、码头、港口等地方，但应用过程中往往会出现如暴风雨、交通管制、突发事故等一些无法自主决策的场景。相较此前需要人为介入到现场处理，平行操控则可以更快、更低的成本解决这个问题。
第二是高危作业，在井下矿车、高空作业机器人、无人挖掘机等危险指数较高或环境恶劣等工作场景中，平行操控可以很好地发挥价值。
第三是远程服务，如机器人、云赛车、无人机之类的场景，操作者可以借助云服务操控这些无人值守设备。随着5G、AI、智能驾驶技术、实时互动技术的快速发展，虚实互动的平行操控场景开始受到行业关注。如物流园区的无人车、矿区的无人驾驶矿车，港口的无人集卡车，以及远程接管脱困的云代驾等，都需要平行操控类技术支持。
技术方案
针对平衡操控场景，我们最需要关注的是两点：人车协同和远程控制，对我们来说，意味着超低的延迟下，设备实时信令控制才有价值。
本文以大牛直播SDK的Windows平台轻量级RTSP服务为例，Windows平台轻量级RTSP服务采集毫秒计时器窗口，然后，对外输出RTSP URL，SmartPlayer播放端拉取RTSP的流数据，可以看到整体延迟毫秒级，完全可以满足平衡操控场景所需的延迟需求。
技术架构如下：
延迟如下：
轻量级RTSP服务功能设计如下：
- 音频格式AAC；
- 视频格式H.264、H.265；
- 协议类型RTSP；
- 传输模式支持单播和组播模式；
- 端口设置支持RTSP端口设置；
- 鉴权设置支持RTSP鉴权用户名、密码设置；
- 获取session连接数支持获取当前RTSP服务会话连接数；
- 多服务支持支持同时创建多个内置RTSP服务；
- RTSP url回调支持设置后的rtsp url通过event回调到上层。
SmartPlayer RTSP播放器（覆盖Windows、Linux、Android、iOS平台）为例，功能如下：
-
支持播放协议高稳定、毫秒级超低延迟；
-
多实例播放支持多实例播放；
-
事件回调支持网络状态、buffer状态等回调；
-
视频格式支持H.265、H.264，此外，还支持RTSP MJPEG播放；
-
音频格式支持AAC/PCMA/PCMU；
-
H.264/H.265软解码支持H.264/H.265软解；
-
H.264硬解码Windows/Android/iOS支持特定机型H.264硬解；
-
H.265硬解Windows/Android/iOS支持特定机型H.265硬解；
-
H.264/H.265硬解码Android支持设置Surface模式硬解和普通模式硬解码；
-
RTSP模式设置支持RTSP TCP/UDP模式设置；
-
RTSP TCP/UDP自动切换支持RTSP TCP、UDP模式自动切换；
-
RTSP超时设置支持RTSP超时时间设置，单位：秒；
-
RTSP 401认证处理支持上报RTSP 401事件，如URL携带鉴权信息，会自动处理；
-
缓冲时间设置支持buffer time设置；
-
首屏秒开支持首屏秒开模式；
-
复杂网络处理支持断网重连等各种网络环境自动适配；
-
快速切换URL支持播放过程中，快速切换其他URL，内容切换更快；
-
音视频多种render机制Android平台，视频：surfaceview/OpenGL ES，音频：AudioTrack/OpenSL ES；
-
实时静音支持播放过程中，实时静音/取消静音；
-
实时音量调节支持播放过程中实时调节音量；
-
实时快照支持播放过程中截取当前播放画面；
-
只播关键帧Windows平台支持实时设置是否只播放关键帧；
-
渲染角度支持0°，90°，180°和270°四个视频画面渲染角度设置；
-
渲染镜像支持水平反转、垂直反转模式设置；
-
等比例缩放支持图像等比例缩放绘制(Android设置surface模式硬解模式不支持)；
-
实时下载速度更新支持当前下载速度实时回调(支持设置回调时间间隔)；
-
解码前视频数据回调支持H.264/H.265数据回调；
-
解码后视频数据回调支持解码后YUV/RGB数据回调；
-
解码前音频数据回调支持AAC/PCMA/PCMU数据回调；
-
音视频自适应支持播放过程中，音视频信息改变后自适应；
-
实时录像支持实时录制MP4，设置录像路径、单个录像文件大小等。