一文看尽深度学习中的各种经典GAN-六虎

本文首发至微信公众号：CVHub，不得以任何形式转载或售卖，仅供学习，违者必究！

导读

生成对立网络(Generative Adversarial Networks, GANs)在过去几年中被广泛地研讨，其在图画生成、图画转化和超分辨率等范畴获得了明显的前进。到现在为止，已经提出了很多根据 GANs 的相关作业和总述。本文根据柏林圣三一大学核算机科学与核算学院的王正蔚博士与字节跳动AI试验室联合发表的一篇总述文章为基础，详细的解读GANs的来龙去脉，一同为大家介绍近期一些相关作业，中间也会穿插一些笔者的见解。最终，本文也将列出一些可探究的未来研讨方向，希望能给予读者一些启发。

布景

生成对立网络已应用在各种范畴，例如核算机视觉(Computer Vision)、自然语言处理(Natural Language Processing)、时刻序列组成(Time-series Synthesis)和语义分割(Semantic Segmentation)等。GANs本质上属于机器学习中的生成模型系列，与其他生成模型（如变分主动编码器）比较，GANs可以有用地生成所需求的样本，消除确定性差错，而且与内部神经网络结构具有杰出的兼容性。这些特性使GANs在核算机视觉范畴获得了巨大的成功。虽然GANs至今已获得了巨大的成功，但将其应用于现实世界仍存在许多应战，最首要的难点为：

高质量图画的生成
生成图画的多样性
练习的不安稳性

为了改善如上所述的问题，可以从体系结构视点或从丢失函数视点对 GANs 进行修正。下图展现了2014-2020年提出的具有代表性的 GANs 分类。咱们将当前GANs分为两类：

体系结构变体(architecture-variant)
丢失变体(loss-variant)

在体系结构变体中，咱们分为三类，别离为:

网络结构(network architecture)
隐空间(latent space)
应用研讨(application-focus)

网络结构类别表明对整个 GAN 结构进行改善或修正，例如 Progressive GAN 运用渐进增大的练习办法。潜在空间类别表明根据潜在空间的不同表明的结构修正，例如 Conditional GAN 涉及向生成器和判别器供给标签信息。最终一类应用研讨是指根据不同的应用进行修正，例如 CycleGAN 有一个特定结构用于图画风格转化。

关于丢失变体，咱们将其分成两类，丢失类型和正则化。丢失类型是指可以针对GANs优化的不同丢失函数，而正则化则是一种附加赏罚，被规划在丢失函数或是归一化操作中。本文先对根据体系结构改善的 GANs 进行介绍。

Original GAN

论文链接：arxiv.org/abs/1406.26…
代码链接：github.com/goodfeli/ad…

如上图所示，原始 GAN 分为两个组件，一个为判别器 $(D)$ ，用于区别实在样本与生成样本；另一个为生成器 $(G)$ ，用于生成假样原本欺骗判别器。给定一个散布 $z∼p_{z}$ ， $G$ 将概率散布界说为样本 $G (z)$ 的散布。GAN 的目的是要学习近似实践数据散布 $p_{r}$ 的生成器散布 $p_{g}$ 。用于优化 GAN 的丢失函数如下：

\min _{G} \max _{D} \mathbb{E}_{\mathbf{x} \sim p_{r}} \log [D(\mathrm{x})]+\mathbb{E}_{\mathbf{z \sim p _ { z }}} \log [1-D(G(\mathbf{z}))] }

GANs 作为深度生成模型宗族的一员，因为与传统 DGMs 比较具有以下优势：

GANs功能更强：与变分主动编码器（VAE）比较，GAN可以核算任何类型的概率密度，然后生成更明晰的图画。
GAN结构能练习任何类型的生成器网络：其他的DGMs可能对生成器有要求，例如需求生成器的输出层为高斯。
数据巨细没有约束：这些优势促使GANs在生成组成数据（尤其是图画数据）时到达SOTA功能。

Energy-based GAN

论文链接：arxiv.org/abs/1609.03…
代码链接：github.com/eriklindern…

Energy-based GAN（EBGAN）经过运用 auto-encoder 作为判别器，使其辨别对象不再是真假样本，而是辨别样本的重构性。即不再对实在样本与生成样本之间的差异进行打分，而是运用一种“回忆”（经过auto-encoder完成）让判别器记住实在样本散布，若输入x与“回忆”相似则给高分，否则给低分。该办法应用于一些简略的图画数据集如 MNIST 、CIFAR-10 和Toronto face中获得了不错的作用，比照原始 GAN，EBGAN 做了如下作业：

因为 EBGAN 的判别器是经过预练习的，因而生成器在一开始便能获得比较大的“能量驱动”，有用地较低了模型的练习成本。
该文章提出 k step 优化判别器以及 1 setp 优化生成器，以防止判别器过拟合。
选用最大化 $l o g D (G (z))$ 来练习生成器，防止优化生成器时呈现梯度消失的问题。此修正等效于运用反向KL散度来衡量 $p_{r}$ 和 $p_{g}$ 之间的差异，会引起非对称的问题。
将 maxout 应用在判别器，而 ReLU 和 Sigmoid 激活函数应用于生成器。而然设置关于杂乱图画并没有体现出杰出的泛化功能。

Semi-supervised GAN

论文链接：arxiv.org/abs/1606.01…
代码链接：github.com/eriklindern…

Semi-supervised GAN(SGAN) 是在半监督学习的布景下提出的。半监督学习是介于监督学习和无监督学习之间的一个很有远景的研讨范畴。与监督学习（每个样本需求供给标签）和无监督学习（不供给标签）不同，半监督学习为一小部分样本供给标签。与原始 GAN 不同，SGAN 的判别器是多头的，如上图所示，它具有 softmax 和 sigmoid 别离用于对实在数据进行分类并区别真假样本。SGAN 在 MNIST 数据集进步行了很多的试验，成果表明 SGAN 中的判别器和生成器的都比原始 GAN 体现更好。这种多头判别器的架构比较简略，也许会约束模型的多样性，结合更杂乱的辨别器架构可能会进一步进步模型的功能。

Bidirectional GAN

论文链接：arxiv.org/abs/1605.09…
代码链接：github.com/eriklindern…

原始 GAN 无法学习逆映射，例如将数据投影回隐空间。Bidirectional GAN（BiGAN）正是为处理此问题而规划的。如上图所示，BiGAN 的网络结构包括一个编码器 $(E)$ 、一个生成器 $(G)$ 以及一个判别器 $(D)$ 。 $E$ 将实在样本数据编码为 $E (x)$ ，而 $G$ 则将 $z$ 解码为 $G (z)$ 。因而， $D$ 旨在评价每对 $(E (x), x)$ 与 $(G (z), z)$ 之间的差异， $E$ 和 $G$ 并不会直接交互。经过参加编码器与解码器之间的彼此反转结构，BiGAN的功能得到了进一步地进步。假如将这种模型应用于处理对立样本将会很有趣。

Conditional GAN

论文链接：arxiv.org/abs/1411.17…
代码链接：github.com/eriklindern…

Conditional GAN（CGAN）的立异在于经过供给类标签（class label）来进一步优化生成器和判别器。如上图所示，CGAN 供给了额定的信息 $y$ （可以是类标签或许其它模态的数据）给生成器和判别器。值得留意的是， $y$ 一般是先单独进行编码，然后再与已编码的 $z$ 和 $x$ 进行拼接。例如，在MNIST 数据集的试验中， $z$ 和 $y$ 别离被映射到层巨细为200和1000的隐藏层，然后在生成器中再进行结合（200+1000=1200）。经过这种做法，CGAN 能进步判别器的判别才能。CGAN 的丢失函数与原始GAN略有不同，如以下等式所示：

\min _{G} \max _{D} \mathbb{E}_{\mathbf{x} \sim p_{r}} \log [D(\mathbf{x})]+\mathbb{E}_{\mathbf{z} \sim p_{\mathrm{z}}} \log [1-D(G(\mathbf{z}))] }

其间 $x$ 和 $y$ 受限于 $z$ 。得益于额定的 $y$ 信息，CGAN 不只可以处理单一模态的图画数据，而且还可以处理多模态的数据。例如，包括符号图画数据及其相关用户生成元数据的Flickr 数据集，这将GAN带到了多模态数据生成范畴。

InfoGAN

论文链接：arxiv.org/abs/1606.03…
代码链接：github.com/eriklindern…

InfoGAN 被提出作为一种逾越 CGAN 的模型，它经过运用无监督的办法，最大化条件变量和生成数据之间的互信息，以学习可解释的特征表明。如上图所示，InfoGan 引进了另一个分类器 $Q$ 来预测由 $G (z ∣ y)$ 生成的 $y$ 。 $G$ 和 $Q$ 的结合在这儿可以了解为主动编码器，其间咱们旨在找出最小化 $y$ 和 $y^{‘}$ 之间穿插熵的 $G (z ∣ y)$ 。可是， $D$ 和原始GAN都是干相同的作业，即区别实在样本和生成样本。为了削减核算开支， $Q$ 和 $D$ 同享一切卷积层除了最终的全衔接层，这使得判别器拥有判别真假样本的才能而且康复信息 $y$ 。与原始GAN结构比较，这使得 InfoGAN 具有更强的判别才能。InfoGAN 运用的丢失是 CGAN 丢失的正则化：

\min _{G} \max _{D} V(D, G)-\lambda I(G, Q), \lambda>0 }

其间 $V (D, G)$ 为CGAN的优化目标除了判别器不需求额定的 $y$ 信息作为输入，而且 $I(⋅)I(\cdot)$ 为互信息。

Auxiliary Classifier GAN

论文链接：proceedings.mlr.press/v70/odena17…
代码链接：github.com/buriburisur…

Auxiliary Classifier GAN（AC-GAN）与 CGAN 和 InfoGAN 十分相似，如上图所示，它包括了一个辅助分类器。每一个生成样本都一个对应类标签 $c$ 和噪声 $z$ 。需求留意的是，AC-GAN 与前两个架构变体（CGAN 和 InfoGAN）的区别在于附加信息，这儿仅限于类标签，而前两个可以是其他的范畴数据。因而，上图中运用 $c$ 和 $c^{‘}$ 来符号以突显其与前两种办法的差异。AC-GAN 的判别器由一个判别器 $D$ 以及一个分类器 $Q$ 组成，与 InfoGAN 类似，判别器与分类器同享参数除了最终一层。AC-GAN的丢失函数可以写成以下形式：

L_{S}=\mathbb{E}_{\mathbf{x} \sim p_{r}} \log [D(\mathrm{x} \mid \mathbf{c})]+\mathbb{E}_{\overline{Z \sim p_{2}}} \log [1-D(G(\mathbf{z} \mid \mathbf{c}))], L_{C}=\mathbb{E}_{\mathbf{x} \sim p_{r}} \log [Q(\mathbf{x} \mid \mathbf{c})]+\mathbb{E}_{\mathbf{z} \sim p_{z}} \log [Q(G(\mathbf{z} \mid \mathbf{c}))] }

其间 $D$ 经过最大化 $L_{S}+L_{C}$ 练习， $G$ 经过最大化 $L_{C}-L_{S}$ 练习。AC-GAN 进步了生成图画的视觉质量以及模型多样性。可是，这些改善需求依靠大规模的带标签数据集，这在实践应用中可能会带来应战。

Laplacian Pyramid of Adversarial Networks

论文链接：arxiv.org/abs/1506.05…
代码链接：github.com/AaronYALai/…

Laplacian Pyramid of Adversarial Networks（LAPGAN）被规划用于将低分辨率图画作为输入，生成高分辨率图画。拉普拉斯金字塔[16]是一种图画编码办法，它运用多个规范但形状相同的部分算子作为基础函数。 LAPGAN 在拉普拉斯金字塔结构 [16] 中运用级联 CNN 来生成高质量图画，如上图所示。LAPGAN运用拉普拉斯金字塔对图画进行上采样，而不是运用转置卷积。首先，LAPGAN运用第一个生成器生成一张十分小的图画，这可以进步生成器的安稳性，接着经过运用拉普拉斯金字塔对该图画进行上采样。然后，将上采样的图画喂给下一个生成器以生成图画差异以及图画差异的总和。如上图所示，咱们将 $G_{3}$ 的生成图画作为输入图画，虽然图画规范十分小，但有利于练习的安稳性。关于较大的图画，生成器用于生成图画差异，这比相同巨细的原始图画要简略得多。

Deep Convolutional GAN

论文链接：arxiv.org/abs/1511.06…
代码链接：github.com/carpedm20/D…

Deep Convolutional GAN (DCGAN) 是第一个将转置卷积神经网络架构应用于生成器的办法。转置卷积可以有用地将CNN特征进行可视化。DCGAN 的生成器运用转置卷积操作对图画进行上采样，这可以进步其生成高分辨率图画的质量。与原始GAN 比较，DCGAN 的架构有一些要害的修正，这有利于高分辨率建模以及安稳练习：

DCGAN运用跨步卷积（strided convolution）代替结构中一切的池化层。
判别器和生成器都运用批归一化（batch normalization），这有助于网络更有用地进行练习。
除了最终的输出层运用Tanh，生成器的其他层悉数运用ReLU激活函数；判别器的一切层均运用Leaky ReLU激活函数。

DCGAN 是 GANs 历史上十分重要的里程碑，转置卷积操作被后续提出的 GANs 广泛应用。因为模型容量的约束，DCGAN 只能在低分辨率和多样性较少的图画上获得较好的作用。

Boundary Equilibrium GAN

论文链接：arxiv.org/abs/1703.10…
代码链接：github.com/carpedm20/B…

GANs 可以生成十分传神的图画，比运用像素丢失的自编码器生成的图画更锐利明晰。可是，GANs 依然面临许多未处理的困难：超参数挑选困难、形式崩塌和平衡生成器和判别器的收敛程度困难。Boundary Equilibrium GAN（BEGAN）学习了 EBGAN 和 WGAN 各自的一些优点，提出了一种新的评价生成器生成质量的办法，使得网络能有用地防止形式溃散（model collapse）和练习不安稳的问题。

一般，假如两个散布越挨近，则可以以为它们越相似，当生成数据散布十分挨近于实在数据散布的时分，生成器就具有了足够的生成才能。BEGAN 代替了这种估量概率散布办法，它不直接去估量生成散布 $P_{g}$ 与实在散布 $P_{r}$ 的距离，而是估量散布的差错散布之间的距离，即只要散布之间的差错散布附近的话，也可以以为这些散布是附近的。

总的来说，Boundary Equilibrium GAN 作了如下奉献：

提出了一个简略强大的GAN结构，运用规范的练习进程完成了快速且安稳的收敛。
关于GAN中的 $G$ 和 $D$ 的平衡提出了一种均衡的概念。
供给了一个超参数，用于平衡图画的多样性和生成质量。
提出了一种收敛程度的估量（灵感来自于WGAN）。

BEGAN 网络结构简洁且无需调整很多的超参数，在 CeleB 数据集上到达了优异的功能作用。

Progressive GAN

论文链接：arxiv.org/abs/1710.10…
代码链接：github.com/akanimax/pr…

Progressive GAN（ProGAN）也是一种应用于图画生成的生成对立网络。不同于先前的 GANs 的练习战略，它们都是先搭建好网络再进行练习，而 ProGAN 则是选用逐渐增加的练习战略，如上图所示。具体来说，生成器 $G$ 和判别器数 $D$ 最初只要一层，前者用于生成分辨率极低（44）的图画，后者再对生成的图画与实在图画（同等分辨率）进行编码得到输出成果。练习若干次序。接着，给 $G$ 和 $D$ 均加一层，使得生成的图画分辨率更高（88），而且将其与实在图画一同输入至判别器，获得输出成果。再次练习若干次序。重复上述进程，直至生成图画分辨率到达指定巨细。

ProGAN 处理了生成高分辨率图画的问题。该办法最首要的奉献为提出了一种渐进式练习办法。可是，ProGAN 与多数 GAN 相同，操控生成图画的特定特征的才能十分有限。图画特征特点彼此羁绊，即使稍微调整输入，会一同影响生成图画的多个特点。因而怎么将 ProGAN 改为条件生成模型，或许增强其调整单个特点的才能，是一个不错的研讨方向。

StyleGAN

论文链接：openaccess.thecvf.com/content_CVP…
代码链接：github.com/NVlabs/styl…

因为ProGAN是逐级生成图片的，咱们没有办法对其增添操控，这导致ProGAN无法生成具有特定特征的图画。因而，在ProGAN的基础上，StyleGAN对生成器做出了进一步的改善和进步，其首要经过别离修正每一层级的输入，在不影响其他层级的情况下以操控该层所表明的视觉特征。StyleGAN的首要奉献如下：

学习了风格迁移，提出新的生成器结构（根据款式的生成器）：

完成无监督地别离高档特点（姿势，身份）与随机改变（头发，斑点）
完成可直观地，按特定规范操控组成

完成了更高的生成质量，更好的解耦才能：经过映射网络f将隐向量z映射至中间的隐空间W。输入隐向量z有必要遵从练习数据的概率密度，这会导致某种程度的不可防止的羁绊，而中间的隐空间W则不受约束。
提出了两种新的量化隐空间解耦程度的办法：感知途径长度和线性可分性。与传统的生成器体系结构比较，新的生成器允许更线性宽和耦地表明不同的改变因素。
提出了FFHQ人脸数据集：高质量、大规模的人脸数据集，7万张10241024图片

不得不说，StyleGAN 不论是在理论上，还是工程实践上，都是具有突破性的，它不只可以生成高质量的图画，而且还可以对生成图画进行有用的操控和了解。

Self-attention GAN

论文链接：proceedings.mlr.press/v97/zhang19…
代码链接：github.com/heykeetae/S…

传统CNNs只能捕获部分空间信息而且感触野会受到一定的约束，这导致了根据传统CNN的GANs学习多类别的杂乱数据集会十分困难以及生成图画中的要害语义可能会发生偏移，例如生成的脸部图画中鼻子并不一定在正确的位置。自留意力机制可以捕获大感触野的一同无需牺牲太多的核算功率。Self-attention GAN（SAGAN）生成器和判别器都运用了自留意力机制，如上图所示。获益于自留意力机制，SAGAN可以学习空间像素的大局依靠联络来生成图画，其在ImageNet数据集的多类别图画生成使命中获得了很好的功能体现。

BigGAN

论文链接：arxiv.org/abs/1809.11…
代码链接：github.com/ajbrock/Big…

BigGAN作为 GANs 开展史上重要的里程碑，在生成图画精度和多样性均作出了跨越式进步。在 ImageNet 练习下，将 Inception Score（IS，生成图画的质量）和 Frechet Inception Distance（FID，生成图画的多样性）别离从52.52和18.65进步到166.3和9.6。BigGAN 首要有以下奉献点：

过增加模型参数量（扩展channel）以及增大batch size；
运用切断技能：运用传统的正太散布结合切断技能来权衡样本的保真度和多样性；
结合了各种新颖trick：

选用同享嵌入(shared embeddings)将类别信息投影至生成器的每个BN层，有用运用了类别信息且不增加参数量；
经过层次化隐空间将随机噪声向量输入到生成器的每一层中，使得随机噪声向量能直接作用在不同层级特征；
运用正交正则化来改善切断技能引起的饱和伪影问题，使得更有用运用整个随机噪声向量空间组成更高质量的样本。

经过运用许多新颖的办法和技巧，BigGAN 的功能可以得到有用的进步，可是网络在练习时也容易溃散，因而在实践运用中有有必要采纳提早中止练习的措施。此外，BigGAN 也探究了一套可以指示练习溃散的衡量目标，使得能针对性地分析并处理网络练习不安稳的问题。

Label-noise rGANs

论文链接：openaccess.thecvf.com/content_CVP…
代码链接：github.com/takuhirok/r…

咱们在上文已经别离评论过 CGAN 和 AC-GAN，它们都具有学习解耦表明（disentangled representation）以及进步GANs的判别才能。可是，练习模型需求大规模符号的数据集，这在实践场景中具有很大的应战性。label-noise rGANs经过结合噪声过渡模型，可以从具有噪声的练习标签中学习到干净的标签条件生成散布。

上图展现了根据 AC-GAN 和 CGAN 的扩展。rGAN 在 CIFAR-10 和 CIFAR-100 数据集进步行了比照试验，其间在 CIFAR-10 数据集上的功能优于原始架构，而且还体现出对噪声标签的鲁棒性。可是，在 CIFAR-100 中，当向标签引进高噪声时，rGAN的功能会下降。成果表明 rGAN 在遇到更杂乱的数据集时依然有些局限性，未来需求进一步研讨。

Your Local GAN

论文链接：openaccess.thecvf.com/content_CVP…
代码链接：github.com/giannisdara…

留意力机制经过建模像素间联络，能有用地处理杂乱的几许形状以及捕获长距离依靠，以进一步进步网络功能。可是，留意力也存在以下约束。首先核算开支大。规范的密集留意力需求的空间和时刻成倍增加。其次，核算留意力时将二维的空间结构打开为一维向量会丢失空间特性。针对以上的问题，Your Local GAN（YLG）首要做了以下奉献：

引进了部分稀少留意力层，该层保留了二维图画的部分性，而且可以经过attention steps来支持杰出的信息流。
运用了信息流图的信息理论结构，以量化信息流的进程并保持二维部分性。
根据SAGAN结构提出了YLG-SAGAN，使得网络的功能和练习时刻均得到大幅优化。
提出了一种处理GANs反演问题的新办法，能对更大模型的丢失进行梯度下降的自然反演进程。

YLG 经过应用稀少留意力与信息流的相关技能以有用进步网络功能。可是，该作业存在两个彼此对立的目标。一方面，YLG 旨在使网络尽可能稀少以进步核算和核算功率，另一方面它们依然需求支持杰出和完好的信息流。

AutoGAN

论文链接：openaccess.thecvf.com/content_ICC…
代码链接：github.com/VITA-Group/…

AutoGAN将神经架构查找(NAS)算法引进生成对立网络(GANs)。生成器架构变体的查找空间经过 RNN、参数同享和动态重置来引导以加快该进程。AutoGAN 运用 Inception Score（IS）作为奖励，并引进多级查找战略以渐进办法执行 NAS。在谱归一化 GAN (SN-GAN) 的练习设置之后，作者运用 hinge loss 来练习同享 GAN。

AutoGAN 办法的规划十分具有立异性，一同也提出了关于 NAS 和 GANs 有用结合的新应战。现在，NAS 依然有待对规范分类问题进行优化，更不用说GANs固有的练习不安稳问题。比照手动规划的GAN架构，虽然 AutoGAN 是十分新颖的而且展现出了不错的功能，可是还有以下问题需求处理：

生成器的查找空间是有限的，而且没有评论判别器的查找战略。
AutoGAN并未在高分辨率图画生成数据集进步行测试，其适用性不能被直观的评价。

MSG-GAN

论文链接：openaccess.thecvf.com/content_CVP…
代码链接：github.com/HelenMao/MS…

众所周知，GANs 很难适应不同的数据集。研讨者以为形成这种情况的原因之一是当实在散布和虚伪散布没有足够的重叠时，梯度的信息量无法有用地从判别器传递到生成器。MSG-GAN被提出作为处理这类问题的一种手法。如上图所示，生成器和判别器的隐空间相连，以便它们同享更多的信息。更具体地说，在生成器的每个转置卷积的激活值经过 $111\times1$ 卷积映射到不同规范的图画上。相似地，映射图画被 $r^{‘}$ 进一步编码为激活值，然后与实在图画的激活值拼接起来，这种衔接使得判别器与生成器之间能同享更多的信息，而且试验成果也验证了有用性。

虽然 MSG-GAN 在多个图画数据集上获得了十分好的成果，但 MSG-GAN 生成不同图画的才能没有经过测试而且咱们发现 CIFAR10 上的成果不如其他数据集。这可能是由生成器和判别器之间的衔接引起的，导致生成器的多样性受到约束。图画的多样性可能会引起不一致的匹配激活，这会对练习产生负面影响，可以测验增加自留意力模块来改善这个问题。

总结

本文对不同结构的GANs进行了总结，要点介绍了在图画质量、形式多样性和练习不安稳这三个要害应战上他们是怎么进步功能的。上图（a）展现了从2014到2020的GANs在架构改善上的开展，可以发现，在不同架构的GANs中存在许多联络。上图（b）展现了GANs关于三大应战的相对功能体现。有爱好的读者可以查阅原论文以更深化地了解每个GAN变体的原理和功能体现。接下来本文将扼要回顾一下不同架构的GANs是怎么处理三大应战的。

图画质量

GANs 的根本目标之一是生成具有高质量的传神图画。因为网络的容量有限，原始 GAN (FCGAN) 仅应用于 MNIST、Toronto face 和 CIFAR-10 数据集。 DCGAN 和 LAPGAN 引进了转置卷积和上采样进程，这使得模型能生成更高分辨率的图画。其他的结构变体GANs（如BEGAN、ProGAN、SAGAN和BigGAN）在丢失函数上也进行了改善以进一步进步图画的质量。仅就架构组件而言，BEGAN运用主动编码器作为判别器，在像素级别上比较生成图画和实在图画，这有助于生成器生成易于重建的数据。ProGAN 选用更深层次的架构，模型随着练习的进行而扩展。这种渐进式练习战略进步了判别器和生成器的学习安稳性，因而模型更容易学习怎么生成高分辨率图画。SAGAN 首要经过谱归一化进步功能，BigGAN验证了更大的batch size和更深的模型有助于高分辨率图画的生成。

梯度消失

改变丢失函数是现在处理此类问题的唯一办法。本文介绍的一些GANs防止了梯度消失问题，但这首要是因为它们运用了不同的丢失函数。

形式多样性

这是 GANs 最具应战性的问题。GANs很难生成传神的多样化图画（例如自然图画）。在架构变体GANs中，只要SAGAN和BigGAN较好地处理了这个问题。获益于自留意力机制，SAGAN和BigGAN 中的 CNN 可以捕获大的感触野，克服生成图画中的shifting components问题，这使得此类 GANs 可以生成不同的图画。

一文看尽深度学习中的各种经典GAN

导读

布景

Original GAN

Energy-based GAN

Semi-supervised GAN

Bidirectional GAN

Conditional GAN

InfoGAN

Auxiliary Classifier GAN

Laplacian Pyramid of Adversarial Networks

Deep Convolutional GAN

Boundary Equilibrium GAN

Progressive GAN

StyleGAN

Self-attention GAN

BigGAN

Label-noise rGANs

Your Local GAN

AutoGAN

MSG-GAN

总结

图画质量

梯度消失

形式多样性

写在最终

作者信息

一文看尽深度学习中的各种经典GAN

导读

布景

Original GAN

Energy-based GAN

Semi-supervised GAN

Bidirectional GAN

Conditional GAN

InfoGAN

Auxiliary Classifier GAN

Laplacian Pyramid of Adversarial Networks

Deep Convolutional GAN

Boundary Equilibrium GAN

Progressive GAN

StyleGAN

Self-attention GAN

BigGAN

Label-noise rGANs

Your Local GAN

AutoGAN

MSG-GAN

总结

图画质量

梯度消失

形式多样性

写在最终

相关文章

利用 GitHub Action 自动发布 Docker

电子科大软件系统架构设计——软件建模详细设计

如何利用 GPT4创建引人注目的流程图

生病的35岁程序员

作者信息