• 论文题目：Deep Image Prior
  • 代码链接：GitHub – DmitryUlyanov/deep-image-prior: Image restoration with neural networks but without learning.

背景介绍

研究人员让CNN去学习仿制被损坏的图画，发现网络能够自行先学会如何重建图画。

DIP的重要特点是，网络由始至终只是运用了被损坏过的图画作为练习，并不存在所谓的监督学习的进程。

质量进步的使命能够细分成：JPEG紧缩、超分辨率、涂抹、水印、降噪等。每一个使命都有许多的研究，这些研究都以为假设模型能够从大型实在图画数据集中学习到图画的先验常识。这个先验常识特别指“什么是正确的图画”。

DIP以为在损坏的非正常图画上练习相同能够学习到图画的这种【先验】。

首要思路

DIP以为，图画的统计学信息是被卷积的图画发生而不是被网络学习得到的。为了证实这一点，作者运用没有被练习的卷积生成网络来处理上述中的图画转化使命。

因为网络的权重是随机的，所以仅有的先验信息是来自网络结构本身。

关于图画修正使命，本文是这样做的：

  1. 用随机参数初始化一个深度卷积网络f；
  2. 令f的输入为固定的随机编码z；
  3. 令f的目标为：输入固定的随即编码z，输出低质量的图画。
  4. 选择合适的损失函数，关于降噪问题能够运用MSE，关于填充问题应该只关注不需要填充位置的MSE；
  5. 练习好久之后，模型最终会得到一个低质量图画的重建图画；
  6. 如果在练习一半被打断，那么就会得到一个修正之后的图画。

The parametrization offers high impedance to noise and low impedance to signal.

这句话是说，参数会对噪音有更高的阻力，关于信号有更少的阻力。因此才会形成，模型练习先学习信号，然后再学习噪音。

个人看法和网上评论

这个研究感觉存在很大的不谨慎，当然我感觉不谨慎的认知也是存在不谨慎的。

归根到底，实质是：参数对图画信号简单学习、对图画噪音学习较为困难。这种差异实质在于，卷积网络在一般的练习进程中，关于高频特征难以重建的现象。模型在学习的时分肯定是从低频特征开端重建，上述的做法其实类似于一种对受损图画奇妙的去除高频噪音的的方法之一。

这种方法关于大多数自然图画是没有问题的。但是关于特别的图画：某些医学图画等等。高频特征正是展现某种疾病病灶、展现某种组织纹路的特征。通过这种战略来进行质量提升等，则存在必定的危险。