Foveated rendering听起来好像是十分杂乱的技能。但实际上凝视点(foveation)的底层概念十分直接。运用人凝视屏幕的信息,能够削减生成场景的运算资源,方法是运用高分辨率烘托人眼观看的小区哉,而场景外的其它区域(人的四周)选用更小的分辨率和更少的细节。凝视点烘托主要用于显现技能,如VR头显和AR眼镜,对些场景资源优化至关重要。
本文中作者会回答一个问题:什么是凝视点烘托?咱们会讨论动态凝视点烘托、静态(或固定)凝视点烘托,以及这些技能怎么下降GPU的核算负载。还会讲到其姐妹概念-动态凝视点传输怎么了削减所需的网络带宽。
凝视点烘托是一种设备功能优化技能,将资源集中于烘托人眼所凝视的显现区域。该区域中的内容即刻以高分辨率烘托人眼凝视的周边。其余的图像-人视角的外围以低分辨率进行烘托,削减烘托场景所用的资源,一起又让用户体会没有可见的丢失。
苹果展现了人眼烘托图像和轿车图展现了大脑是怎么烘托内容的
凝视点烘托建立是因为它模拟了人的视觉,以及咱们的感知在视场中是怎么降级的。咱们的大脑烘托所看到的内容是经过焦点高分辨率(图示中的苹果)配合其它看到内容的中低分辨率完结的。
VR头显中的固定凝视点烘托
什么是静态(或固定)凝视点烘托?
凝视点烘托中的静态方法,或咱们所称的固定凝视点烘托,假定用户的焦点是屏幕的中心(有时便是这样的)。图示中展现了固定凝视点烘托在VR头显是怎么经过硬编码区域对屏幕进行区分的。假定的用户留意力区域(屏幕中心的白色区域)以100%进行烘托。灰色区域以中分辨率烘托,蓝色区域以低分辨率烘托,然后削减烘托整个场景所需的资源。能够在几乎一切设备上完成静态凝视点烘托,极有可能看到一定程序的资源优化,但不一定能到达最优用户体会。早期镜片的外围变形使得咱们有机会在本就会模糊的区域下降分辨率,但镜片的质量在提高,因此需求对整个视场进行高分辨率的烘托。
什么是动态凝视点烘托?
VR头显中的动态凝视点烘托
动态凝视点烘托使用人的实际留意力区域完整烘托图片的小区域(图中的白色区域),向外扩展为中(灰色区域)和低分辨率(浅蓝色),不发生质量和用户体会的降级。要完成动态凝视点烘托,咱们需求精准的、低延时的眼动追踪,可反复发送用户实时的精确凝视点。咱们对动态凝视点烘托所做的一些基准测验结果十分优异。用Unity引擎对Pico头显所做一项测验中,GPU着色负载最高下降72%,平均下降60%。咱们的测验显现帧率稳定性大幅提高,大启用了动态凝视点烘托看一下吧每秒没掉到90帧以下。这关于用户于体会极佳。
动态凝视点烘托的好处
因其能够下降处理负载,动态凝视点烘托能够让GPU以更低温度运转,相应地会下降能耗,然后削减对冷却的需求以及下降风扇的噪音,提高了舒适度也延长了电池的寿数。
限制全分辨率烘托的区域下降了杂乱着色器的负载,削减了烘托场景所花费的时刻。空闲的资源可用于带来更真实的着色和更高等级的场景杂乱度。
最重要的是动态凝视点烘托(DFR)是一项提高指定硬件架构功能的优化技能。在实践中,DFR延长了独立头显上固定资源GPU的寿数,支撑新式内容和显现技能,并以更低的代价供给了传神、沉溺式的用户体会。
什么是动态凝视点传输?
动态凝视点传输是轻量可穿戴设备得以完成的柱石。随着设备越来越轻、资源越来越有限,低延时网络和设备外运算对很多应用都变得至关重要。一种下降设备和云端或边缘核算之间数据传输量的方法便是动态留意点传输。
动态凝视点传输使用眼动追踪捕捉人眼的凝视点,向远端处理器发送指令,根据人眼凝视的区域以高、中、低分辨率烘托场景(与设备上的动态凝视点烘托运转原理相同),然后下降每个场景在网络中所传输的数据量。
为何要完成凝视点烘托?
凝视点烘托是XR的一项核心技能。在设备上完成动态凝视点烘托,需求有眼动追踪配件,相机、反光镜以及能够处理眼部机理的算法。这一技能需求实时发送精准的凝视点,而且需求适用于运用设备的来自各地的人。关于商业设备,设计的方案要求能够使用动态凝视点烘托开发高级应用的一起又不会大量地重复编程。