平衡操控应用背景
平行操控场景，通过超低延时视频通信技术与实时信令技术结合，使得操作者可以实时的驾驶/操作远端的无人车或机械设备。
相比传统近距离的遥控，平行操控的传输网构建在互联网之上，突破了传统距离限制，操控者可以实时遥控几百甚至上千公里以外的设备。在平行操控的应用场景上，应急接管、高危作业和远程服务是平行操控典型的三个业务场景。
首先是应急接管，以无人车为例，无人车目前被广泛应用在机场、码头、港口等地方，但应用过程中往往会出现如暴风雨、交通管制、突发事故等一些无法自主决策的场景。相较此前需要人为介入到现场处理，平行操控则可以更快、更低的成本解决这个问题。
第二是高危作业，在井下矿车、高空作业机器人、无人挖掘机等危险指数较高或环境恶劣等工作场景中，平行操控可以很好地发挥价值。
第三是远程服务，如机器人、云赛车、无人机之类的场景，操作者可以借助云服务操控这些无人值守设备。随着5G、AI、智能驾驶技术、实时互动技术的快速发展，虚实互动的平行操控场景开始受到行业关注。如物流园区的无人车、矿区的无人驾驶矿车，港口的无人集卡车，以及远程接管脱困的云代驾等，都需要平行操控类技术支持。
技术方案
针对平衡操控场景，我们最需要关注的是两点：人车协同和远程控制，对我们来说，意味着超低的延迟下，设备实时信令控制才有价值。
本文以大牛直播SDK的Windows平台轻量级RTSP服务为例，Windows平台轻量级RTSP服务采集毫秒计时器窗口，然后，对外输出RTSP URL，SmartPlayer播放端拉取RTSP的流数据，可以看到整体延迟毫秒级，完全可以满足平衡操控场景所需的延迟需求。
技术架构如下：
延迟如下：
轻量级RTSP服务功能设计如下：
-
音频格式\]AAC；
-
协议类型\]RTSP；
-
端口设置\]支持RTSP端口设置；
-
获取session连接数\]支持获取当前RTSP服务会话连接数；
-
RTSP url回调\]支持设置后的rtsp url通过event回调到上层。
-
支持播放协议\]高稳定、毫秒级超低延迟；
-
事件回调\]支持网络状态、buffer状态等回调；
-
音频格式\]支持AAC/PCMA/PCMU；
-
H.264硬解码\]Windows/Android/iOS支持特定机型H.264硬解；
-
H.264/H.265硬解码\]Android支持设置Surface模式硬解和普通模式硬解码；
-
RTSP TCP/UDP自动切换\]支持RTSP TCP、UDP模式自动切换；
-
RTSP 401认证处理\]支持上报RTSP 401事件，如URL携带鉴权信息，会自动处理；
-
首屏秒开\]支持首屏秒开模式；
-
快速切换URL\]支持播放过程中，快速切换其他URL，内容切换更快；
-
实时静音\]支持播放过程中，实时静音/取消静音；
-
实时快照\]支持播放过程中截取当前播放画面；
-
渲染角度\]支持0°，90°，180°和270°四个视频画面渲染角度设置；
-
等比例缩放\]支持图像等比例缩放绘制(Android设置surface模式硬解模式不支持)；
-
解码前视频数据回调\]支持H.264/H.265数据回调；
-
解码前音频数据回调\]支持AAC/PCMA/PCMU数据回调；
-
实时录像\]支持实时录制MP4，设置录像路径、单个录像文件大小等。