前语 该文是华为诺亚方舟试验室 & INSA Lyon & Mila Montreal联合提出一种基于深度学习的图画增强办法。作者提出选用深度学习办法学习三种类型(椭圆滤波器、突变滤波器、多项式滤波器)的空间部分滤波器用于图画增强。该文为深度学习算法在图画恢复里边的应用供给了一个新思路，非常建议我们细心看一下。文末附论文下载办法。
本文转载自AIWalker
作者 | HappyAIWalker
欢迎重视大众号CV技术指南，专心于核算机视觉的技术总结、最新技术盯梢、经典论文解读、CV招聘信息。
核算机视觉入门1v3辅导班
Abstract
数码艺术家经常经过手动调整的办法改善图画的美学质量，这些调整既包括大局调整，也包括部分调整(比如分层突变、画刷东西等)。然而，这些手动调整办法往往过于耗时且需要较强的专业技能。当时优异的主动图画增强办法往往聚集于学习像素级或大局增强，前者或许存在噪声且缺乏可解释性，而后者则难以进行更细粒度的调整。
作者提出一种新颖的办法，它能够选用学习到的三种类型（椭圆滤波器、突变滤波器以及多项式滤波器）的空间部分滤波器进行图画增强。作者引进一种深度神经网络（Deep Local Parametric Filters, DeepLPF）用于回归这些空间部分滤波器的参数并运用这些滤波器对图画进行增强。DeepLPF供给了一种很天然的办法进行模型正则、可解释性、直觉调整，从而生成具有更好视觉效果的图画。作者在多个数据集(Adobe-5K及变种)上验证了所提办法的优异功能.
该文主要有以下三点奉献：
- Local Parametric Filters：提出一种用于部分图画增强的滤波器参数主动估计办法；
- Multiple Filter Fusion Block：提出一种进行多滤波器交融策略。所提的
即插即用神经模块能够交融多个独立滤波器，更具灵活性，能够轻易嵌入到通用图画增强网络中； - SOTA Image Enhancement Quality：所提办法取得了SOTA功能。
Method
下图供给了DeepLPF的椭圆形滤波器与突变滤波器的可视化效果图。能够看到:DeepLPF能够自适应针对需要进行调整的区域执行不同的处理，这更契合人眼的视觉感知。
下图给出了专业人员选用Lightroom等东西进行调整的可视化效果图，这儿供给了三种办法的调整：画笔办法、突变办法、椭圆办法。事实上，用户在日常生活中对图画进行调整时往往是部分调整，大局调整相对较少。
Architecture
image-20200506164325920
上图给出了所提DeepLPF的网络架构示意图，给定低质输入RGB图画及其对应的高质图画，能够练习DeepLPF学习变换，此刻有。
作者所规划的模型包括一个用于细粒度图画增强的单流(single-stream)网络，与一个用于部分增强的双流(two-stream)网络。
- 首要，选用规范CNN骨干网络(如
ResNet、UNet)估计一个维度为的特征图，其中前三个通道表明待调整图画，其他通道将送入后续的三个滤波器参数猜测模块； - 然后，选用单流网络用于猜测多项式滤波器的参数并用于增强骨干网络的输出得到；
- 其次，增强后的将与特征进行拼接并送入双流网络学习部分增强滤波器(突变滤波器、椭圆滤波器)参数，所学习到的两种类型滤波器经过Add办法进行交融并得到规范图，该规范图将与前述增强图画经过Multiply交融得到；
- 最终，经过骨干网络增强的图画将于所得到的经过Add办法交融得到最终的输出。
Local Parametric Filters
在进行三种类型滤波器介绍之前，咱们首要介绍一下如何经过网络学习滤波器参数。作者选用网络去学习滤波器参数，故而滤波器参数是与图画内容相关的，可称之为动态滤波器。
作者规划了一个轻量型的CNN用于滤波器参数猜测，该网络选用一系列的卷积核池化操作逐步减小特征图的分辨率，最终接一个GAP(用于确保分辨率无关)与全衔接层进行滤波器参数猜测。激活函数选择LeakyReLU，一起全衔接层后接dropout(50%, both train and test，为何推理阶段也要选用呢？？？)
image-20200506171150544
前述三种滤波器猜测网络的差异仅在于：最终全衔接层的输出节点数，对应参数量。上图给出了不同滤波器的全衔接层输出节点数。这儿所规划的计划事实上与HDRNet一文中的计划是相通的，都是网络猜测参数，而非直接输出增强图画，猜测参数比直接增强图画更为高效。
Graduated Filter
突变滤镜是图画编辑软件最常用的一种功能，比如它可被用于调整天空区域的比照度一起确保与非天空区域天然过渡。突变滤波器能够经过三条平行线进行刻画：(1)中心线表征滤波器的位置和方向，可表明为；(2)偏移供给了别的两个参数。此刻可调整映射图由四个离散部分构成，在100%区域所有像素乘以规范参数；在100-50%区域规范参数线性的从改变到；在50-0%区域规范参数线性的从改变到0；在0%区域的像素不做任何调整。突变滤波器能够经过以下公式进行描述：
其中，为二值变量。注：能够经过STE办法进行优化。
下图给出了突变滤波器与椭圆滤波器的可视化图。
image-20200506171759362
Elliptical Filter
椭圆滤波器能够由中心、长半径、短半径以及旋转角度界说。中心区域的缩放因子最大，鸿沟区域的缩小因子最小，超出椭圆规模后的规范因子为0。椭圆滤波器的示意图见上图，椭圆滤波器能够经过如下公式界说：
Polynomial Filter
多项式滤波器用于模仿画刷，供给了更广义的形状一起具有空域滑润性。作者仅考虑阶多项式，多项式办法为。其中，i表明图画灰度，表明图画坐标，表明独立规范因子。
作者规划了两种多项式滤波器：cubic-10，cubic-20。cubic-10多项式界说如下：
cubic-20多项式界说如下：
作者所界说的三阶滤波器一起考虑空域与灰度信息，一起约束了映射图的复杂度，这确保了像素增强的部分滑润性以及精度。注：作者为每个色彩通道学习一组多项式滤波器，故而参数量分别是30和60。
Loss Function
作者在CIELab色彩空间核算丢失，该丢失包括两部分:(1)Lab通道的丢失；(2)L通道的丢失。整体丢失函数界说如下：
Experiments
数据集：作者选用了由两个数据集衍生出的三个数据集：
- (1)MIT-Adobe-5K-DPE;
- (2)MIT-Adobe-5K_UPE;
- (3) See-in-the-dark.
点评规范：主观点评规范PSNR、SSIM与感知点评规范LPIPS。
练习信息：优化器选择Adam，初始学习率为，不同数据集的丢失超参分别为.
上表给出了融化试验结果比照，经过试验验证了不同成分的重要性。从中能够看到：
- 比较baseline，每个滤波器均有必定程度的功能提高；
- 多项式滤波器相对更为重要；
- 三者组合取得了最佳功能；
上图进一步验证了突变滤波器与椭圆滤波器的影响性分析。滤波器数量的提高会进一步提高模型的PSNR、SSIm目标。
下面两个表格给出了所提办法在其他两个数据集上的功能比照。
前面主要从定量方面比照了所提办法与其他办法的功能优势，下面从视觉效果方面给出了所提办法比较其他办法的优势。
Conclusion
本文对用于图画增强的主动参数化滤波器进行探索与研究。受启发与专业图画编辑东西与软件，作者提出选用深度学习办法估计三种类型的滤波器（称之为滤镜或许更合适）参数，并用于指导图画增强。本文所提办法具有更好的可操作空间，一起具有更好的可解释性。该文为图画增强办法的研究打开了一扇窗户，它将有助于更多可落地AI画质算法的落地与产品化。
欢迎重视大众号CV技术指南，专心于核算机视觉的技术总结、最新技术盯梢、经典论文解读、CV招聘信息。
核算机视觉入门1v3辅导班
【技术文档】《从零搭建pytorch模型教程》122页PDF下载
QQ沟通群：444129970。群内有大佬担任解答我们的日常学习、科研、代码问题。
其它文章
LCCL网络：彼此指导博弈来提高目标检测精度（附源代码）
与SENet互补提高，华为诺亚提出自注意力新机制：Weight Excitation
最新FPN | CFPNet即插即用，助力检测涨点，YOLOX/YOLOv5均有用
DeepLSD：基于深度图画梯度的线段检测和细化
CVPR 2023 | 基础模型推进语义切割的弱增量学习
消费级显卡的春天，GTX 3090 YOLOv5s单卡完整练习COCO数据集缩短11.35个小时一层卷积能做啥？
BOE告诉你：一层卷积能够做超分！
卫星图画揭露数据集资源汇总
DiffusionDet：用于对象检测的分散模型
CV小常识评论与分析(7) 寻找论文创新点的新办法
CV小常识分析与评论(6）论文创新的一点误区
一文看尽深度学习中的各种注意力机制
MMYOLO 想你所想：练习进程可视化
顶刊TPAMI 2023！Food2K：大规模食品图画识别
用于精确目标检测的多网格冗余鸿沟框标示
2023最新半监督语义切割总述 | 技术总结与展望！
本来Transformer就是一种图神经网络，这个概念你清楚吗？
快速实现常识蒸馏算法，运用 MMRazor 就够啦！
常识蒸馏的迁移学习应用
TensorFlow 真的要被 PyTorch 比下去了吗？
深入分析MobileAI图画超分最佳计划：ABPN
3D目标检测中点云的稀疏性问题及解决计划
一文深度分析分散模型终究学到了什么？
OpenMMLab教程【零】OpenMMLab介绍与装置
代码实战：YOLOv5实现钢材外表缺陷检测
TensorRT教程（六）运用Python和C++布置YOLOv5的TensorRT模型
超全汇总 | 核算机视觉/主动驾驶/深度学习资料合集！
高精度语义地图构建的一点考虑
点云切割练习哪家强？监督，弱监督，无监督仍是半监督？
核算机视觉入门1v3辅导班
核算机视觉沟通群
【免费送书活动】关于语义切割的亿点考虑
聊聊核算机视觉入门
