​平衡控制使用背景

平行控制场景，经过超低延时视频通讯技能与实时信令技能结合，使得操作者能够实时的驾驭/操作远端的无人车或机械设备。

相比传统近距离的遥控，平行控制的传输网构建在互联网之上，突破了传统距离限制，控制者能够实时遥控几百甚至上千公里以外的设备。在平行控制的使用场景上，应急接管、高危作业和长途服务是平行控制典型的三个事务场景。

首先是应急接管，以无人车为例，无人车现在被广泛使用在机场、码头、港口等地方，但使用过程中往往会呈现如暴风雨、交通管制、突发事故等一些无法自主决策的场景。相较此前需求人为介入到现场处理，平行控制则能够更快、更低的本钱解决这个问题。

第二是高危作业，在井下矿车、高空作业机器人、无人挖掘机等风险指数较高或环境恶劣等作业场景中，平行控制能够很好地发挥价值。

第三是长途服务，如机器人、云赛车、无人机之类的场景，操作者能够借助云服务控制这些无人值守设备。跟着5G、AI、智能驾驭技能、实时互动技能的快速开展，真假互动的平行控制场景开端遭到职业关注。如物流园区的无人车、矿区的无人驾驭矿车，港口的无人集卡车，以及长途接管脱困的云代驾等，都需求平行控制类技能支撑。

技能方案

针对平衡控制场景，咱们最需求关注的是两点：人车协同和长途控制，对咱们来说，意味着超低的推迟下，设备实时信令控制才有价值。

本文以大牛直播SDK的Windows渠道轻量级RTSP服务为例，Windows渠道轻量级RTSP服务收集毫秒计时器窗口，然后，对外输出RTSP URL，SmartPlayer播映端拉取RTSP的流数据，能够看到全体推迟毫秒级，完全能够满足平衡控制场景所需的推迟需求。

技能架构如下：

平衡控制使用场景讨论及RTSP技能完成

推迟如下：

平衡控制使用场景讨论及RTSP技能完成

轻量级RTSP服务功用设计如下：

  • [音频格式]AAC；
  • [视频格式]H.264、H.265；
  • [协议类型]RTSP；
  • [传输形式]支撑单播和组播形式；
  • [端口设置]支撑RTSP端口设置；
  • [鉴权设置]支撑RTSP鉴权用户名、暗码设置；
  • [获取session连接数]支撑获取当时RTSP服务会话连接数；
  • [多服务支撑]支撑同时创立多个内置RTSP服务；
  • [RTSP url回调]支撑设置后的rtsp url经过event回调到上层。

SmartPlayer RTSP播映器（掩盖Windows、Linux、Android、iOS渠道）为例，功用如下：

  • [支撑播映协议]高安稳、毫秒级超低推迟；

  • [多实例播映]支撑多实例播映；

  • [事情回调]支撑网络状况、buffer状况等回调；

  • [视频格式]支撑H.265、H.264，此外，还支撑RTSP MJPEG播映；

  • [音频格式]支撑AAC/PCMA/PCMU；

  • [H.264/H.265软解码]支撑H.264/H.265软解；

  • [H.264硬解码]Windows/Android/iOS支撑特定机型H.264硬解；

  • [H.265硬解]Windows/Android/iOS支撑特定机型H.265硬解；

  • [H.264/H.265硬解码]Android支撑设置Surface形式硬解和普通形式硬解码；

  • [RTSP形式设置]支撑RTSP TCP/UDP形式设置；

  • [RTSP TCP/UDP自动切换]支撑RTSP TCP、UDP形式自动切换；

  • [RTSP超时设置]支撑RTSP超时时间设置，单位：秒；

  • [RTSP 401认证处理]支撑上报RTSP 401事情，如URL携带鉴权信息，会自动处理；

  • [缓冲时间设置]支撑buffer time设置；

  • [首屏秒开]支撑首屏秒开形式；

  • [杂乱网络处理]支撑断网重连等各种网络环境自动适配；

  • [快速切换URL]支撑播映过程中，快速切换其他URL，内容切换更快；

  • [音视频多种render机制]Android渠道，视频：surfaceview/OpenGL ES，音频：AudioTrack/OpenSL ES；

  • [实时静音]支撑播映过程中，实时静音/撤销静音；

  • [实时音量调理]支撑播映过程中实时调理音量；

  • [实时快照]支撑播映过程中截取当时播映画面；

  • [只播关键帧]Windows渠道支撑实时设置是否只播映关键帧；

  • [渲染视点]支撑0，90，180和270四个视频画面渲染视点设置；

  • [渲染镜像]支撑水平回转、笔直回转形式设置；

  • [等比例缩放]支撑图画等比例缩放制作(Android设置surface形式硬解形式不支撑)；

  • [实时下载速度更新]支撑当时下载速度实时回调(支撑设置回调时间距离)；

  • [解码前视频数据回调]支撑H.264/H.265数据回调；

  • [解码后视频数据回调]支撑解码后YUV/RGB数据回调；

  • [解码前音频数据回调]支撑AAC/PCMA/PCMU数据回调；

  • [音视频自适应]支撑播映过程中，音视频信息改动后自适应；

  • [实时录像]支撑实时录制MP4，设置录像途径、单个录像文件大小等。

​