深度学习应用篇-计算机视觉-图画增广[1]：数据增广、图画混叠、图画取舍类变化类等详解

一、数据增广

在图画分类使命中，图画数据的增广是一种常用的正则化办法，首要用于添加练习数据集，让数据集尽或许的多样化，使得练习的模型具有更强的泛化才能，常用于数据量不足或许模型参数较多的场景。除了 ImageNet 分类使命规范数据增广办法外，还有8种数据增广办法非常常用，这儿对其进行简略的介绍和对比，咱们也能够将这些增广办法应用到自己的使命中，以获得模型精度的提高。这8种数据增广办法在ImageNet上的精度方针如 图1 所示。

深度学习应用篇-计算机视觉-图像增广[1]：数据增广、图像混叠、图像剪裁类变化类等详解

图1 8种数据增广办法

二、常用数据增广办法

注：如果没有特殊阐明，本章节中所有示例为 ImageNet 分类，而且假定终究输入网络的数据维为：[batch-size, 3, 224, 224]

在ImageNet 分类使命中，练习阶段的规范数据增广办法为以下几步：

  1. 图画解码：简写为 ImageDecode
  2. 随机裁剪到长宽均为 224 的图画：简写为 RandCrop
  3. 水平方向随机翻转：简写为 RandFlip
  4. 图画数据的归一化：简写为 Normalize
  5. 图画数据的重排，[224, 224, 3] 变为 [3, 224, 224]：简写为 Transpose
  6. 多幅图画数据组成 batch 数据，如 batch-size 个 [3, 224, 224] 的图画数据拼组成 [batch-size, 3, 224, 224]：简写为 Batch

比较于上述规范的图画增广办法，研究者也提出了许多改善的图画增广战略，这些战略均是在规范增广办法的不同阶段插入必定的操作，根据这些战略操作所处的不同阶段，咱们将其分为了三类：

  1. 对 RandCrop (上述的阶段2)后的 224 的图画进行一些改换: AutoAugment，RandAugment
  2. 对Transpose (上述的阶段5)后的 224 的图画进行一些裁剪: CutOut，RandErasing，HideAndSeek，GridMask
  3. 对 Batch(上述的阶段6) 后的数据进行混合: Mixup，Cutmix

增广后的可视化效果如 图2 所示。

深度学习应用篇-计算机视觉-图像增广[1]：数据增广、图像混叠、图像剪裁类变化类等详解

图2 数据增广后可视化

下文将介绍这些战略的原理与运用办法，其间，每种数据增广战略的参考论文与参考开源代码均在下面的介绍中列出。

以 图3 为测验图画，第三节将根据测验图画进行改换，并将改换后的效果进行可视化。

因为RandCrop是随机裁剪，改换前后的图画内容或许会有必定的差别，无法直观地对比改换前后的图画。因而，本节将 RandCrop 替换为 Resize。

深度学习应用篇-计算机视觉-图像增广[1]：数据增广、图像混叠、图像剪裁类变化类等详解

图3 测验图画

三、图画改换类

图画改换类指的是对 RandCrop 后的224 的图画进行一些改换，首要包括：

  • AutoAugment[1]
  • RandAugment[2]

3.1 AutoAugment

论文地址：arxiv.org/abs/1805.09…

开源代码github地址：github.com/DeepVoltair…

不同于常规的人工设计图画增广办法，AutoAugment 是在一系列图画增广子战略的查找空间中经过查找算法找到的合适特定数据集的图画增广计划。针对 ImageNet 数据集，终究查找出来的数据增广计划包括 25 个子战略组合，每个子战略中都包括两种改换，针对每幅图画都随机的挑选一个子战略组合，然后以必定的概率来决定是否履行子战略中的每种改换。

成果如 图4 所示。

深度学习应用篇-计算机视觉-图像增广[1]：数据增广、图像混叠、图像剪裁类变化类等详解

图4 AutoAugment后图画可视化

3.2 RandAugment

论文地址：arxiv.org/pdf/1909.13…

开源代码github地址：github.com/heartInsert…

AutoAugment 的查找办法比较暴力，直接在数据集上查找针对该数据集的最优战略，其计算量很大。在 RandAugment 文章中作者发现，一方面，针对越大的模型，越大的数据集，运用 AutoAugment 办法查找到的增广办法发生的收益也就越小；另一方面，这种查找出的最优战略是针对该数据集的，其搬迁才能较差，并不太合适搬迁到其他数据集上。

在 RandAugment 中，作者提出了一种随机增广的办法，不再像 AutoAugment 中那样运用特定的概率确认是否运用某种子战略，而是所有的子战略都会以相同的概率被选择到，论文中的实验也表明这种数据增广办法即便在大模型的练习中也具有很好的效果。

成果如 图5 所示。

深度学习应用篇-计算机视觉-图像增广[1]：数据增广、图像混叠、图像剪裁类变化类等详解

图5 RandAugment后图画可视化

四、图画裁剪类

图画裁剪类首要是对Transpose 后的 224 的图画进行一些裁剪，并将裁剪区域的像素值置为特定的常数（默以为0），首要包括：

  • CutOut[3]
  • RandErasing[4]
  • HideAndSeek[5]
  • GridMask[6]

图画裁剪的这些增广并非必定要放在归一化之后，也有不少完成是放在归一化之前的，也便是直接对 uint8 的图画进行操作，两种办法的差别是：如果直接对 uint8 的图画进行操作，那么再经过归一化之后被裁剪的区域将不再是纯黑或纯白（减均值除方差之后像素值不为0）。而对归一后之后的数据进行操作，裁剪的区域会是纯黑或纯白。

上述的裁剪改换思路是相同的，都是为了处理练习出的模型在有遮挡数据上泛化才能较差的问题，不同的是他们的裁剪办法、区域不太相同。

4.1 Cutout

论文地址：arxiv.org/abs/1708.04…

开源代码github地址：github.com/uoguelph-ml…

Cutout 能够理解为 Dropout 的一种扩展操作，不同的是 Dropout 是对图画经过网络后生成的特征进行遮挡，而 Cutout 是直接对输入的图画进行遮挡，相关于Dropout，Cutout 对噪声的鲁棒性更好。作者在论文中也进行了阐明，这样做法有以下两点优势：(1) 经过 Cutout 能够模拟真实场景中主体被部分遮挡时的分类场景；(2) 能够促进模型充分利用图画中更多的内容来进行分类，防止网络只重视显著性的图画区域，然后发生过拟合。

成果如 图6 所示。

深度学习应用篇-计算机视觉-图像增广[1]：数据增广、图像混叠、图像剪裁类变化类等详解

图6 Cutout后图画可视化

4.2 RandomErasing

论文地址：arxiv.org/pdf/1708.04…

开源代码github地址：github.com/zhunzhong07…

RandomErasing 与 Cutout 办法相似，相同是为了处理练习出的模型在有遮挡数据上泛化才能较差的问题，作者在论文中也指出，随机裁剪的办法与随机水平翻转具有必定的互补性。作者也在行人再识别（REID）上验证了该办法的有效性。与Cutout不同的是，在RandomErasing中，图片以必定的概率承受该种预处理办法，生成掩码的尺寸巨细与长宽比也是根据预设的超参数随机生成。

成果如 图7 所示。

深度学习应用篇-计算机视觉-图像增广[1]：数据增广、图像混叠、图像剪裁类变化类等详解

图7 RandomErasing后图画可视化

4.3 HideAndSeek

论文地址：arxiv.org/pdf/1811.02…

开源代码github地址：github.com/kkanshul/Hi…

HideAndSeek论文将图画分为若干块区域(patch)，关于每块区域，都以必定的概率生成掩码，不同区域的掩码含义如 图8 所示。

深度学习应用篇-计算机视觉-图像增广[1]：数据增广、图像混叠、图像剪裁类变化类等详解

图8 HideAndSeek分块掩码图

成果如 图9 所示。

深度学习应用篇-计算机视觉-图像增广[1]：数据增广、图像混叠、图像剪裁类变化类等详解

图9 HideAndSeek后图画可视化

4.4 GridMask

论文地址：arxiv.org/abs/2001.04…

开源代码github地址：github.com/akuxcw/Grid…

作者在论文中指出，此前存在的根据对图画 crop 的办法存在两个问题，如 图10 所示：

  1. 过度删去区域或许形成方针主体大部分甚至全部被删去，或许导致上下文信息的丢掉，导致增广后的数据成为噪声数据；

  2. 保存过多的区域，对方针主体及上下文根本发生不了什么影响，失掉增广的含义。

    深度学习应用篇-计算机视觉-图像增广[1]：数据增广、图像混叠、图像剪裁类变化类等详解

图10 增广后的噪声数据

因而如果防止过度删去或过度保存成为需求处理的核心问题。

GridMask是经过生成一个与原图分辨率相同的掩码，并将掩码进行随机翻转，与原图相乘，然后得到增广后的图画，经过超参数控制生成的掩码网格的巨细。

在练习过程中，有两种以下运用办法：

  1. 设置一个概率p，从练习开端就对图片以概率p运用GridMask进行增广。
  2. 一开端设置增广概率为0，跟着迭代轮数添加，对练习图片进行GridMask增广的概率逐步增大，最后变为p。

论文中验证上述第二种办法的练习效果更好一些。

成果如 图11 所示。

深度学习应用篇-计算机视觉-图像增广[1]：数据增广、图像混叠、图像剪裁类变化类等详解

图11 GridMask后图画可视化

五、图画混叠

图画混叠首要对 Batch 后的数据进行混合，包括：

  • Mixup[7]
  • Cutmix[8]

前文所述的图画改换与图画裁剪都是针对单幅图画进行的操作，而图画混叠是对两幅图画进行交融，生成一幅图画，两种办法的首要区别为混叠的办法不太相同。

5.1 Mixup

论文地址：arxiv.org/pdf/1710.09…

开源代码github地址：github.com/facebookres…

Mixup 是最早提出的图画混叠增广计划，其原理简略、方便完成，不仅在图画分类上，在方针检测上也取得了不错的效果。为了便于完成，通常只对一个 batch 内的数据进行混叠，在 Cutmix 中也是如此。

如下是 imaug 中的完成，需求指出的是，下述完成会出现对同一幅进行相加的状况，也便是终究得到的图和原图相同，跟着 batch-size 的添加这种状况出现的概率也会逐步减小。

成果如 图12 所示。

深度学习应用篇-计算机视觉-图像增广[1]：数据增广、图像混叠、图像剪裁类变化类等详解

图12 Mixup后图画可视化

5.2 Cutmix

论文地址：arxiv.org/pdf/1905.04…

开源代码github地址：github.com/clovaai/Cut…

与 Mixup 直接对两幅图进行相加不相同，Cutmix 是从一幅图中随机裁剪出一个 ROI，然后掩盖当前图画中对应的区域。

成果如 图13 所示。

深度学习应用篇-计算机视觉-图像增广[1]：数据增广、图像混叠、图像剪裁类变化类等详解

图13 Cutmix后图画可视化

六、实验

根据PaddleClas套件，运用上述几种数据增广办法在ImageNet1k数据集进步行了实验测验，每个办法的分类精度如下。

模型 初始学习率战略 l2 decay batch size epoch 数据变化战略 Top1 Acc 论文中定论
ResNet50 0.1/cosine_decay 0.0001 256 300 规范改换 0.7731 –
ResNet50 0.1/cosine_decay 0.0001 256 300 AutoAugment 0.7795 0.7763
ResNet50 0.1/cosine_decay 0.0001 256 300 mixup 0.7828 0.7790
ResNet50 0.1/cosine_decay 0.0001 256 300 cutmix 0.7839 0.7860
ResNet50 0.1/cosine_decay 0.0001 256 300 cutout 0.7801 –
ResNet50 0.1/cosine_decay 0.0001 256 300 gridmask 0.7785 0.7790
ResNet50 0.1/cosine_decay 0.0001 256 300 random-augment 0.7770 0.7760
ResNet50 0.1/cosine_decay 0.0001 256 300 random erasing 0.7791 –
ResNet50 0.1/cosine_decay 0.0001 256 300 hide and seek 0.7743 0.7720

留意：

  • 在实验中，为了便于对比，将l2 decay固定设置为1e-4，在实际运用中，推荐尝试运用更小的l2 decay。结合数据增广，发现将l2 decay由1e-4减小为7e-5均能带来至少0.3~0.5%的精度提高。

  • 在运用数据增广后，因为练习数据更难，所以练习丢掉函数或许较大，练习集的准确率相对较低，但其具有更好的泛化才能，所以验证集的准确率相对较高。

  • 在运用数据增广后，模型或许会趋于欠拟合状况，建议能够恰当的调小l2_decay的值来获得更高的验证集准确率。

七、测验增强

在网络练习过程中，数据增强是提高模型才能的有效办法，目前在图画分割、分类和检测场景中都取得了不错的模型练习效果。

数据增强相同也能够应用于测验阶段，将原始的图画进行各种形式的改换得到多张图片，比如图画翻转，图画旋转，图画拉伸等操作，然后对这些图片别离进行推理，再对这多个成果进行归纳剖析以确认终究成果，这便是测验时增强（ Test-Time-Augmentation，TTA）。

7.1. 测验时增强的原因

如果只对图画做一种增强时，采用的改换有或许会使图画的关键信息丢掉，然后导致后续使命得不到正确的成果。

7.2. 测验时增强的效果

经过剖析多项数据增强的图画，然后归纳剖析，有或许会平滑掉某一种改换导致的关键信息丢掉现象带来的丢掉，然后提高猜测的准确率。

更多文章请重视公重号：汀丶人工智能

参考文献

[1] Autoaugment: Learning augmentation strategies from data

[2] Randaugment: Practical automated data augmentation with a reduced search space

[3] Improved regularization of convolutional neural networks with cutout

[4] Random erasing data augmentation

[5] Hide-and-seek: Forcing a network to be meticulous for weakly-supervised object and action localization

[6] GridMask Data Augmentation

[7] mixup: Beyond empirical risk minimization

[8] Cutmix: Regularization strategy to train strong classifiers with localizable features)