上半部分内容：海量并发低延时 RTC-CDN 体系架构规划（上）

低延时 RTC-CDN 体系的架构

传统 CDN 直播开展多年，为了优化延时，业界基本上朝两大优化方向：优化传输层协议和在传输层协议的根底上优化运用层协议。

RTMP 和 HTTP with FLV 以及 HLS 底层均运用 TCP 作为传输层协议。针对 TCP 协议的优化在必定程度上能够抵达下降延时的作用，比方运用全链路 TCP 加快计划以及替换运用 BBR 在内的更好的拥塞操控算法。

苹果在 2019 年推出了 LL-HLS（Low-Latency HLS），选用 chunk 编码传输模式，将推迟下降到 3 秒左右。现在依据 TCP 计划的 LL-HLS 和 LL-DASH 计划的极限推迟在 2-3 秒左右。

为了优化 TCP 协议，业界在牢靠 UDP 协议上做了许多探究。随着咱们对 Google QUIC 协议研究的深化，有不少项目和开发者，开端用 RTMP over QUIC 替代传统的 RTMP over TCP。QUIC 是一个十分优异的协议，现在它现已成为 HTTP3 的规范协议。但 QUIC 作为一种通用协议，它对音视频媒体不友好，也便是它没办法了解音视频媒体数据的详细意义，它以天公地道的角度来对待这些媒体数据，这也是它不能彻底处理流媒体传输难题的根本原因。

这几年 SRT 也得到了广泛的运用， SRT 底层运用 UDT 协议，UDT 协议也是一个老牌的依据 UDP 的牢靠传输协议，当然原生的 UDT 传输推迟是比较高的，SRT 在此根底上做了不少的拥塞操控战略的相关优化以下降传输延时。

近两年随着 WebRTC 成功推广，运用 RTC 技能实现的低延时直播技能越来越老练，咱们来看看云信 RTC 低延时中心技能要点。

网易云信 RTC 低延时中心技能

• 首先是抗弱网，为了对抗极限场景下 80% 的丢包，像业界常用的 FEC RED 以及 HARQ 技能咱们都很熟悉，云信除此之外还运用依据机器学习的 PLC 算来进一步进步音频丢包后处理，并运用长参阅帧 LTR 技能进一步下降视频的单帧丢掉后连续参阅导致的卡顿。
• 在去颤动部分，运用 Jitterbuffer和NetEQ 技能也是十分老练的计划，咱们花了许多的精力在做 Jitterbuffer 和 ARQ 以及音画同步模块的协作战略，在抗住 2000ms 的颤动情况下，还需求确保音画通话还是有不少工程方面的挑战。
• 在智能流控部分，首先必定要有优异的带宽估量和拥塞判别算法，云信这几年对 GCC、BBR 和 PCC 等算法深化研究，融合各算法的优势，自研了一套稳定牢靠的拥塞操控算法，能够确保带宽运用率在约束网络下抵达 90%+；一起流控要做好必须做好全链路的反应和源侧的呼应，云信运用多层 Simulcast 和 SVC 技能增加了增加了调控的维度，一起运用全链路 VQC 技能确保视频全链路的作用。
• 除了端侧的 QoS，云信这几年在服务端全链路分段 QoS 部分也做了许多实践。 所谓分段 QoS，其实总结来说便是上行和下行的抗丢包要分段，带宽估量要分段，只需这样才能在服务端上针对每个用户的下行网络做最优的适配。
• 另外，第一公里加快是做好上行 QoS 的重点，包括依据地理位置的就近接入、动态调度以及 MultiPath 的多路径都是很关键的技能。
• 要做好 QoS 一套完善的云端下发与自适应参数装备服务是必不可少的，除了适配数千款各机型的参数，还需求做差异化场景的主动适配，各个客户端的差异化才能需求做好才能洽谈和才能降级，确保各个客户端都能有一个最优体验。

怎么构建低延时 RTC-CDN 分发网络

在前面介绍云信的流媒体服务器架构时，现已提到了云信媒体服务器运用的无向图的拓扑结构，一起为了进步用户就近接入的作用，云信在全球各地部署了大量的边际节点，边际节点之间运用 WE-CAN 大网的路由节点来确保节点之间的网络传输作用。

常规的 RTC 房间，为了尽量削减端到端的延时，基本上选用的是 Full Mesh 的网状拓扑结构，尽量让用户就近接入。但是在房间人数不断上涨，抵达万人乃至十万人大房间今后，网状拓扑的分发压力和级联本钱都会大大上涨，在这种场景下网状拓扑现已无法满意事务的需求。为了处理这种问题，就需求选用类 CDN 的树状拓扑结构，针对一路上行流运用一棵树来做订阅者的分发。 在云信实现的计划中，运用 WE-CAN 大网的路由节点和边际服务器节点，能够主动适配网状和树状结构，经过流级别的调度战略主动调整每条流的分发拓扑。该计划在低延时直播场景下特别适用，低延时直播将延时操控在 1 秒左右，也为了操控本钱选用多层的树状结构，并做必定的边际聚合，在献身必定“最优接入“的情况下，做到了本钱和推迟的平衡，一起也满意了低延时直播超大频道的需求做到了无限扩展的才能。由于大网路由节点和媒体边际节点原来的拓扑安排形状便是无向图，所以天然能够兼容网状和树状拓扑，而且能够复用所有的边际节点和路由节点，做到最佳的资源运用率，去平衡体验和本钱。

低本钱

咱们或多或少都能感受到 2022 年的互联网多少有点“寒冬将至“的气氛，所以咱们关于本钱越来越灵敏，在我看来低本钱首要有两个维度：接入低本钱和价格低本钱。价格低本钱很好了解，而接入本钱下降能够节省人力本钱，因而这两个维度总结起来都和”钱“相关。关于云服务供给商来说只有做到了低本钱也才能让咱们的产品竞争力进步，让用户更爱用。

接入低本钱

直播 CDN 的接入特别简单，究其原因首要有两方面：一个是直播运用的协议十分规范，比方 RTMP、HTTP with FLV 和 HLS 都是十分规范且通用的协议，各个 CDN 产商都支撑；第二是有大量优异的开源软件在支撑直播，比方咱们熟知的 OBS、FFmpeg 和 IjkPlayer 等等。规范的协议和优异的开源软件，都大大下降了 CDN 接入的难度。因而咱们以为低本钱 RTC 也需求尽力探究这两个方向。

云信现在在低延时直播场景进行相关方向的探究和落地，在这儿先简单介绍一下云信的低延时直播才能，在推流侧支撑第三个推流东西和云信推流东西，将流用 RTMP 或许 WebRTC 协议推到边际加快服务器，再依据装备如果是开通了低延时才能的就经过 WE-CAN 进行分发，不然就经过融合 CDN 分发。相比于 CDN 直播动辄 4s 以上的推迟，低延时直播推迟更低，最低能够抵达 600ms，一起依据自研的 WE-CAN 全球智能路由网络，可支撑千万级高并发拉流，而且首帧和抗弱网体现优势明显，让用户用挨近 CDN 的价格体验到 RTC 的作用。

说回接入低本钱，从开源和规范协议的角度，云信都做了探究，首先咱们来看看云信现已开源的依据 WebRTC 的开源低延时直播播放器，咱们能够在 github 上查找 LLS-Player（github.com/GrowthEase/…），找到这个项目。

上图是云信开源的低延时播放器的框架。云信低延时播放器是一个传输层的 SDK，最底层是 WebRTC。由于咱们旨在打造一个通用版的 SDK，所以咱们将 WebRTC 全量包入，经过 PeerConnection 层接入，里边是一些首要模块，例如 JitterBuffer、NetEQ、RTP/RTCP、Transport 等。中间是 RtdEngine 层，首要作用是对 WebRTC 进行封装，包括 API、引擎创立、信令建连、 媒体数据的接回收调等。最上层是 FFMPEG 插件。直播现已开展了数些年，各厂商都有一些存量的播放器，市面上大多数播放器都是依据 FFMPEG 开发，为了下降用户 SDK 接入门槛，云信将 API 封装成 FFMPEG 插件，这样只需求在原来的播放器里边就能够实现低延时直播的拉流。

除了开源的低延时直播播放器，云信还支撑运用由 Millicast 开放的规范信令 WHIP 进行 SDP 洽谈后向云信音视频服务推拉流。一起，未来云信还有计划开源包括低延时推流插件在内的其它 RTC-CDN 产品。

价格低本钱

这个章节是各个产商的中心，怎么优化本钱，我这儿供给几个思路，供咱们参阅。

• 进步资源运用率——CPU 算力错峰运用率，边际接入节点复用率，大网内部运用组播来进步带宽复用率。
• 下降带宽开支——各事务带宽错峰（带宽规划），聚合调度，95 峰值本钱调度，经过节点的赛马机制去寻找更多优质的低本钱边际节点。

低延时 RTC-CDN 场景化技能实战

• 低延时直播在线教育大班课

大班课大多都是经过传统的直播处理计划实现的，首要会面临两个问题：白板与直播画面的同步以及答题体系与直播画面的同步，传统直播由于底层传输层协议的固有问题，所以是很难攻坚的；而 RTC 计划虽能处理上述问题，但其高昂的本钱让人“又爱又恨”。因而低本钱的 RTC-CDN 架构在这个场景下就演化出了低延时直播的处理计划，去平衡作用（也便是清晰度、端到端延时、流通度）与本钱。上文现已共享了低延时直播便是运用了 RTC-CDN 的 QoS 机制、低延时树状分发网络以及低本钱计划等，各类技能保障，便是让用户用 CDN 的价格体验到了 RTC 的作用。

• 云游戏

与之类似的低延时直播场景还有“云游戏“，也是要将实时操作与画面做到极致的同步，特别是在云游戏直播的场景下，低延时直播能够大大进步观众侧的体验，当然云游戏除了延时要求以外，还对视频的清晰度和帧率提出了很高的要求，需求在编码战略和 QoS 机制上做更多的适配。

• 直播

除了“云游戏“以外，近两年弹幕游戏直播也作为一种新型的直播形状在不少平台取得成功，弹幕游戏直播天然是与低延时直播场景匹配的，由于所有观众发的弹幕都期望尽快在直播画面上看到弹幕的成果，需求做到秒级延时的体验。

• IoT 机器人

低延时 RTC-CDN 除了在教育、游戏、娱乐交际等场景得到落地以外，云信这两年还将它运用在了长途操控与 IoT 机器人的场景，所谓长途操控其实便是运用低延时流媒体技能实现对设备的远距离操控。

云信和网易伏羲机器人团队的协作的长途发掘机便是其中一个落地实践的方向，为了实现长途开发掘机，咱们需求有一套超低延时的操控信令体系和超低延时的实时音视频体系，再协作云端的 VR 烘托。这些超低延时的传输才能，不只要考虑野外网络较差信号较差的情况，还要面临超大流量的上行流量传输，由于一起传输许多个摄像头的数据，许多传统 RTC 的场景下的 QoS 机制还是需求针对性做较多的优化以适配这样的场景。

• 元世界

除了发掘机以外，云信还在近两年特别热门的元世界场景进行通用传输才能的探究。元世界如今已成为全球科技业的下一个风口。在元世界琳琅满目的各种运用场景中，无论是如电影《头号玩家》中的那种体感交互设备，还是医师运用 VR 医疗，长途做手术，元世界强交互的根底是数据的低推迟传输和同步。

云信与网易瑶台协作研制的瑶台是国内第一批元世界落地产品，区别于传统视频会议的呈现方式，瑶台更具虚拟的沉溺感。上一年网易曾将全球投资者大会的举办地搬到了瑶台虚拟世界，来自全球几十个国家的 200 多位投资者，经过自己的虚拟形象，沟通网易事务的最新动态。整个互动场景便是依据网易云信的低延时 RTC-CDN 才能打造。

• MPS 云端实时转码

除了通用传输技能，云信也在探究通用的远端媒体处理技能，运用云信自研的 MPS 高性能媒体处理服务器，云信能够在云端实现虚拟人、转码、超分、场景烘托等才能，来满意不同客户和场景的实践需求，咱们以为云端的媒体处理构建，也是音视频在元世界年代的一个十分重要的组成部分。

总结和展望

总结

• 咱们探讨了全球分布式多单元流媒体服务器架构，运用分层架构和统一调度来支撑了海量并发以及流量蜂拥。
• 咱们依据多单元流媒体服务器架构，并深度打磨低延时技能，打造了 RTC-CDN 体系，针对 RTC-CDN 体系探究了低本钱服务架构，一起拥抱了规范化和开源。
• 咱们运用 RTC-CDN 优化了低延时直播、元世界的传输、云烘托以及长途机器人操控等场景。
• 这儿咱们对 RTC-CDN 这个新词做一个总结：什么是 RTC-CDN 体系？便是在一套体系里一起具有 RTC 和 CDN 的才能，并让 RTC 的接入与运用如 CDN 相同低本钱。

展望

• 体系架构的融合和多样性是未来，而全面的 RTC-CDN 年代，应该会在未来几年内到来。
• 未来的音视频编解码还是会不断的迭代立异，比方 8K 的新一代视频编码器 AVS3 和 VVC 和谷歌依据 AI 的音频编码器 SoundStream。
• 传输技能会继续迭代，不只是现已得到广泛运用的 QUIC 和 HTTP3，5G 和 6G 这些底层通讯技能也会不断演进，这些都会推进 RTC 技能不断迭代。
• AI 与大数据发掘，会不断在 RTC 范畴中发挥重要作用。

技能是永无止境的，我坚信技能是能够改变世界，音视频范畴未来有无限可能。