智码超清布景介绍
跟着 5G、AI 技能开展，视频职业迎来一个高速的增长期，视频在网络带宽的占2019 年为 43%，预计到 2025 年占比将高达 76%，仍然保持着高速的增长，其中有大部分是超高清的视频，据某权威机构猜测，2022 年超高清的视频规划有望到达 4 万亿人民币，相比于 2019 年的 1.2 万亿人民币翻了 3 倍之多，可见超高清市场的规划有很大的空间。
咱们现在处于迫临实在，根本到达实在的阶段。从分辨率来讲咱们从标清、高清慢慢往超高清的方向开展，从动态规模、色域和视角规模来看，从规范动态规模到高动态规模，还有窄色域、窄视角到宽色域、宽视角的方向开展，未来肯定会朝着超越实在的视觉通讯互动媒体方向开展，其中会出现更多的视频技能， 包含更高的分辨率，还有多视角、多自由度，还有超低时延、实时互动、实时渲染、数字孪生等技能。
咱们咱们了解的高清视频是指 720P 和 1080P 的分辨率的视频，超清指的更大的分辨率，比方说 2K、4K、5K、8K，跟着分辨率尺度越来越大，网络带宽传输的本钱也越来越高，因而需求有一套低本钱高质量的压缩视频的算法。根据以上布景网易云信开发了智码超清的自研算法，不只能够给视频带来极致的压缩，并且能够带来画质的增强。
横向比照来看，提供智码超清事务的厂商有许多。下图左面是国内厂商，包含咱们了解的阿里云、腾讯云、百度云等。下图右边是国外厂商，包含亚马逊、 YouTube、NETFLIX 等，可见智码超清事务是十分重要，且十分根底的东西。
智码超清转码的要害技能
下图是视频转码在整个直播、点播数据流的方位和作用，这个图是直播、点播领域常见的流媒体推流和拉流的数据流的进程，能够看出从刚开始的视频源到转码服务器转码，转码后又经过打包和加密发送到不同的服务器上。终究假如客户端有恳求，咱们会从就近的服务器拉流到客户端来播映显现。咱们的转码处在比较靠前的方位，转码后的码流假如越小，后边的网络传输的一系列本钱将大大降低，并且码流的质量直接影响在客户端播映时的片面体验，所以这儿的转码要做到智码超清。
智码超清转码的要害技能点分三块。榜首块是视频前处理，第二块是视频编码，第三块是视频后处理。
视频前处理
视频前处理包含内容剖析与画质提高两部分。
其中内容剖析包含两个方面：
- 榜首是场景辨认 ： 经过场景辨认，区分出不同的场景，包含游戏、动画片、动作片、视频会议等。针对不同的场景，咱们会更精密的挑选不同的前处理策略和编码东西，这样前处理和编码能够做到场景自适应。
- 第二是ROI检测： 这儿指根据深度学习的ROI区域检测，咱们把检测出来的ROI区域传给前处理模块和编码模块。在前处理和编码模块内部对ROI区域的画质做重点的增强修正。
画质提高包含视频增强、颜色增强、视频降噪三部分。
- 视频增强和颜色增强，是根据深度学习的方法对原始视频做增强，从片面上对画质会有明显提高。
- 视频降噪，是在噪声评价之后对有噪声的视频做降噪处理，不只能够带来画质的提高，并且对视频编码的压缩率也有很大的帮助，所以视频降噪是十分有用的前处理东西。
视频编码
智能编码方面： 包含感知编码、ROI 编码，还有精准的帧级和行级码控。
编码内核方面： 有自研的 NE264、NE265，还有支持私有协议的 NEVC。
视频后处理
首要是做画质提高，这儿包含视频超分、视频增强。
智码超清转码的技能解析
智码超清的技能解析之超分技能
超分这儿具体指的是超分辨率，是从低分辨率到高分辨率。超分算法一般是部署在端侧，所以要做到又快又好，因而咱们自研了一套根据轻量级网络的实时超分算法。
这儿自研的轻量级网络咱们称为云信 RFDECB 网络结构，下图详细描述了网易云信的 RFDECB 网络结构，左面是这个网络结构的主干图，能够看到是由不同级的 ECB 模块和卷积模块构成，经过提取不同级的残差特征和 ECB 输出重参数化的结构能够更好提取图画特征，终究经过交融得到高分辨率的图画。右边对 ECB 模块的具体结构，咱们选用拉普拉斯算子和索贝尔算子来提取图画的边缘特征，这样能够更好的得到超分的作用。
别的，在训练结束之后咱们会把 ECB 模块中的多分支的网络结构经过打开、合并，终究变成一个十分简单的卷积，这样在推理进程和工程化实现中会有比较大的效率提高。
咱们自研的超分算法参加了本年的 CVPR2022 年的超分比赛，在归纳功能赛道咱们超越了包含来自字节、阿里、B站、华为、南京大学、清华大学等选手，获得了归纳功能赛道的冠军，在业界做到最好的水平。
下图左面是咱们超分技能的作用展现，左面是没有做超分，右边是有咱们的超分算法。能够看到左面的地球仪和文字是比较模糊的，经过超分算法之后地球仪和文字部分会清楚许多，这是咱们超分算法带来的画质增强。
下图右边是咱们自研的移动端超分和业界超分端上方案的处理比照，都是在相同的 480P 分辨率下做两倍超分。能够看出，相对于业界方案 1 的 10 毫秒，咱们还能够再降低 50%，到达 5 毫秒的速度。所以咱们能够部署在更多低功能的移动端，能够给更多的客户带来画质提高的体验。
下面讲一下编码技能，首先是人眼感知编码技能，下图左面是 JND 的根本原理，JND（Just Noticeable Distortion）最小可察觉的差错，是利用人眼的视觉冗余进一步压缩视频。从这个图中能够看出，编码内部运用的失真码率 RDO 曲线是连续的突曲线，咱们人眼感知的其实不是连续的，而是阶梯状的。能够比照看出，假如利用阶梯状的曲线来替换本来的 RDO 曲线，在相同的失真的情况下能够运用更少的码率。
传统的 JND 算法是以图画的底层特征为主，包含图画的纹理、边缘、亮度、颜色。网易云信自研的 JND 感知编码，除了在传统的 JND 的算法根底上加入了根据深度学习的高层特征剖析，能够辨认出图画中的文字、人脸、远景之外，还有其他的显著性区域，并对这些不同的特征做了不同的 JND 的公式。咱们把不同特征的 JND 的公式应用在编码，这样能够大大降低咱们的码率。这一套算法上线落地能够带来均匀 15% 以上的码率节约，在有些特殊的场景能够带来更多的码率节约。
第二是前处理和编码的联合优化。这儿首要讲的是 ROI 编码，咱们根据深度学习的前处理检测出 ROI 区域，如图里边的 ROI 区域是人脸和文字，咱们把人脸和文字区域的方位传给后边的编码模块，在编码模块对 ROI 做片面质量的维护，这儿不只是简单的把 ROI 区域的 QP 调小，并且还针对文字部分，咱们运用 transform skip 等编码东西来提高文字的片面作用。对非 ROI 区域咱们做降码率处理，这样能够整体节约比较多的码率。
下图是 NE-CODEC 的内核优化。咱们自研了有 20 多个创新的编码算法，分布在不同的编码内核的不同模块，包含有 GOP 级的预剖析，帧级的预剖析，还有猜测、转化和量化部分。在 GOP 级的预剖析里咱们自研了一套自适应的分层B的参阅结构，包含 GOP8、GOP16、GOP32。针对 CU TREE 也做了自适应的分层结构。
在帧级的预剖析首要是 JND 和 ROI 的优化，上文已经说到过了。
在猜测模块咱们也有许多的快速算法，包含多参阅帧的快速挑选。还有在转化模块，咱们对现在的 DCT 模块做深度的加快，还有咱们提出了快速的 RDOQ 算法。别的还结合了 JND 做了频域的 JND 的算法。在量化部分咱们提出了有一个 SSIM-RDO 的算法，这个算法能够保证在相同的 SSIM 客观目标的情况下能够节约更多的码率。经过这些许多的快速算法不断的迭代优化，终究形成了一套比较稳定的 NE-CODEC 的内核。
上图右边是 NE265 和友商 CODEC 的比照测试，能够看出在 Online 模式，也就是 30fps 档位下，NE265 在 VMAF 目标上优于业界的各大厂商。从这个图中也能够看出相对于开源的 X265，在 VMAF 相同的情况下 NE265 还能够节约 45% 的码率。
在云信 NE265 编码下，视频不只有片面感受的提高，在相同码率下咱们的 VMAF 客观目标也从 89 说到 97 分，所以不管从客观目标还是片面体验都有很大的提高。
智码超清的事务价值
接下来共享的内容是智码超清的事务价值。网易云信的智码超清已经在公司内部的网易传媒、网易云音乐直播、有道视频、网易元气全量上线，以网易传媒为例，下图左面是在网易传媒的应用，每天能够跑 40 万分钟的视频转码，上线后从本来每天的 80G 带宽下降到每天 32G，节约了 60% 以上的带宽。右边是网易云信自己的转码服务器，每天也有超越 10 万分钟的转码时长。
未来展望
更高清的质量
咱们先看更高质量，这儿提两点，一点是超清视频的多方位的开展，一种是沉溺式的体验。多方位开展能够参阅下图左面，能够看到视频目标除了分辨率越来越大之外，其他的视频目标也在不断开展，包含色深，从 8bit、10bit 开展到 12bit，色域从窄色域到宽色域，动态规模从窄动态到宽动态。帧率也从 30、60 开展到 120。沉溺式的体验能够参阅右侧，我相信跟着未来 5G 的普及，比方 AR、VR 的体验会做的越来越好。
更低带宽
下图来自英伟达的 AI 的视频压缩。左面能够看到用的常规的 H264 做压缩，每帧的巨细大概是 97KB，也就是咱们每帧需求 97KB 带宽的网络传输。右侧是经过英伟达的AI视频压缩之后每帧的巨细能够降到 0.1KB，这个是适当惊人的。原理是只是传输咱们左面图上的人脸的要害点。在接纳端把人脸要害点重建出来，这样能够在传输进程中大大节约带宽，这是一个比较好的想法。我相信未来 AI 和视频编码的生动结合也是未来比较重要的方向。
