世界杯的编码技能挑战

关于世界杯这样的大型体育赛事而言,视频编码算法既要在高速运动、复杂纹路的场景下确保直播内容的清晰度和流畅度,保障用户的观赛体会,又要统筹码率、延迟等对网络传输层面尤为敏感的目标。

别的,抖音完成了业界初次的世界杯比赛支撑 4K HDR 10-bit 直播,其内容信息量相较于以往有极大提高,对编码器的实时性提出了更高要求。

火山引擎如何完成这个挑战

BVC编码器长时间迭代优化

火山引擎自研的 BVC 编码器经过多年的技能攻关和优化技能积累,以及在不同视频服务事务方向上的长时间迭代优化,目前其编码功能和编码器架构的核算效率都处于业界领先水平,在国际权威编码器大赛 MSU 比赛中多次夺冠。

世界杯项目针对性优化

概述

在 BVC 编码器的基础上,火山引擎多媒体实验室针对世界杯比赛场景进行了一系列针对性优化。

首要经过科学构建世界杯比赛视频的测验集,剖析足球比赛视频特性,进一步挖掘了当前场景下的先验信息,有用提高了编码效率,在确保画质的状况下进一步下降了码率,一起优化了码率平稳性以及码控精度。

一起,团队优化了多核下的并行机制,极大幅度提高了 CPU 利用率;一起剖析并优化了4K HDR 10-bit 视频编码中的复杂度瓶颈,进一步加快了 HDR 视频的编码速度。终究使得 BVC 编码器在确保画质和下降码率的一起,能进一步提高编码速度,达到并超出了4K HDR 10-bit 50fps 视频实时编码的要求。

别的在线上部署时,团队经过片面质量评测专门对足球赛事视频优化了各种不同质量配置下的最优码率,比方超高清 4K,超高清 HDR,蓝光 HD 等质量配置,确保不同用户的观看质量。

优化效果

本次 BVC 编码器共优化了 3 个不同档位,分别用于4K HDR/SDR 编码,1080p编码,以及 720p/480p 编码。

(1)针对世界杯场景, BVC编码器优化前后各项目标比照方下图

可见优化后,BVC 编码器既有相同视频质量下带宽收益(BD-Rate),尤其是在相同 VMAF 质量目标时码率节约收益显著,一起编码速度和 CPU 利用率也提高较大(尤其是 4K 档位),码控精准度也有显著提高。

世界杯直播 | 抖音视频编码器优化

(2)针对世界杯场景的4K10bit视频 BVC编码器与开源 x265 编码器功能比照方下图:

可见在相同 PSNR 下,BVC 编码器的带宽节约高于 x265 的 veryslow 最慢档,且在相同测验条件下,编码速度也高于 x265 的 ultrafast 最快档。

世界杯直播 | 抖音视频编码器优化

世界杯直播 | 抖音视频编码器优化

备注:上述图示中,speed(相关于 x265 ultrafast 编码速度)越大越好,bandwidth(相关于 x265 ultrafast 带宽)越小越好。

优化手段

团队经过精准构建世界杯足球比赛测验集,有用约束了团队的优化场景,既能为团队供给更多的足球比赛视频的先验信息,一起也不会导致过拟合的状况。在此基础上,团队做了大量编码器内核优化,包含编码东西调优,新增数十项主/客观编码算法,多线程调度以及 SIMD 等工程优化加速,码率操控优化等;在优化过程中,团队使用了多个质量评价目标对优化技能功能进行评价,终究完成了在确保画质不变的条件下既有码率节约又有速度提高的优化效果。

(1)构建精准的足球比赛测验序列

团队剖析了足球比赛视频中每个片段的时域复杂度和空域复杂度,一起依据每个片段的场景内容,筛选出了数十个作为足球比赛测验集。

在此基础上,团队加入了部分通用测验视频防止过拟合,构建了终究的测验集,如下图。

世界杯直播 | 抖音视频编码器优化

(2)优化编码器内核

团队首要测验了已有的数十个编码东西在当前场景的性价比,找出性价比最高的(复杂度最低,码率节约最高)东西在当前场景下敞开,并关闭性价比低的东西。

在此基础上,团队针对编码器内部的多个不同模块,其间包含预剖析和编码过程中运动查找,模式决策,环路滤波等,开发了数十项新算法,进一步提高了编码效率和下降模块的核算复杂度,加快编码速度。

针对世界杯场景中视频时域复杂度高特点,团队经过优化了码率操控算法,确保了场景切换时的码率平稳性,一起提高了全体码率的精准性。团队也优化了支撑 ROI 区域的码控算法,在相同码率下使得片面感受更优,有用提高了足球比赛中人眼敏感的球员区域以及草坪区域的片面质量。

团队也进行了大量并行优化,经过多线程使命调度以及 SIMD 优化,提高了多核下的 CPU 利用率,极大加快了编码速度。

世界杯直播 | 抖音视频编码器优化

优化示例

1 )处理480p档位拖影问题

优化前(左) vs 优化后(右):

世界杯直播 | 抖音视频编码器优化

2 )提高720p/480p草坪清晰度

优化前(左) vs 优化后(右):

世界杯直播 | 抖音视频编码器优化