还在用VGG? RepVGG重铸VGG荣光

还在用VGG? RepVGG重铸VGG荣光

一起养成写作习惯!这是我参与「日新计划 4 月更文挑战」的第21天,点击查看活动详情

写在前面

  VGG算是非常经典的网络了,它是由牛津架构师工资大学架构师需要掌握哪些知识算机视觉组(Visual Geometry Group)和Google DeepMind公司的研究员一起研发的 “直卷积公式筒型“ 的网络。既然在看这篇文章工商银行电话人工客服,想必已经对VGG十分熟悉了。VGG有一些特别明计算机视觉的研究方向显的缺陷,如网络的参数量较多,模型检测准确率也不是很好,总之VGG网络效果不理想。之后的一段时间,人们架构图怎么制作总是将网络变得更宽更深(如Google卷积运算Net、ResNet),以期待达到更优异的效果。事实上也是这Go样,更深更宽的网络更容易满足需求。这样,VGG变得鲜有问津。这时,一位大佬——丁霄汉,相信科学技术总卷积的物理意义是螺旋式的上升,捡起了VGG模型,给其注入了新思想,RepVGG便横空出世。

  首先我们先来解读一些RepVGG的取名含义,Re卷积云p全称为re- pa卷积公式rameterization(重参数化)工龄差一年工资差多少,Rep是指首先构造一系列结构(一般用于训练),并将其参计算机视觉是什么数等价转换为另一组参数(一般用于推理),从而将这一系列结卷积云构等价转换为另一系列结构。估计这段话大家读的似懂非懂,对架构师于RepVGG来说,就是在训练阶段会训练一个多分支模型,然后利用重参数化将多分支架构图怎么画模型等价转换为单路模型,最后在推理时使用单路模型。为什么要这样做呢?因为在训练过程中往往架构多分支的结构会得到更大学辅导员有前途吗高的性能收益,即在训练时采用多分支结卷积积分构来提升网络性能,在推理时,将多分支结构转化为单路结构,这样会使推理速度大大加快✈✈✈

RepV架构是什么意思GG结构

  听了工龄越长退休金越多吗上文卷积积分的讲解,不知大家对RepVGG有了多少了解,还有很多疑惑是正常的,不要着急,下面会详细的对RepVGG的结构和设大学专业计进行分析RepVGG模型具有一个类似于VGG的拓扑结构,没有任何分支,模型只采用了3×3的卷积核和Relu激活函数。【注意:这里的RepVGG模型指的是推理(inference)时采用的结构,训练(training卷积公式)时结构不是这样的】模型的结构如下图所示:

还在用VGG? RepVGG重铸VGG荣光

  从上图我们可以看出,在RepVGG的训练阶段,其结构借鉴了ResNet,同时引入了残差结构计算机视觉好找工作吗和1×1的卷积分支,在论文中也证明了加入残差计算机视觉是什么结构和1×1的卷积均可以提升网络大学入党积极分子一定能入党吗的性能,如下图所示:

还在用VGG? RepVGG重铸VGG荣光

  至于RepVGG的推理阶段计算机视觉是什么,其结构就是简单的3×3卷积同Relu函数的结合。

多路模型转单路模型✨✨✨

​  这一部分绝对是R宫颈癌epVGG的核心了!!!re计算机视觉技术– parameterization(重参数化)要做的其实就是要将多路模型转成单路模型。首先我们要搞清楚我们要转换的对象,即多路模型指什么?单路模型指什么?这两个模型在计算机视觉好找工作吗上文已经提及,多路模型指的就是在训练阶架构师工资段的模型,而单路模型指的是在推理阶段的模型,如下图:

还在用VGG? RepVGG重铸VGG荣光

  现在我们的目标有了,即将上图右侧模型转换成左侧。仔细观察左右两图的区别,可以看出我们只需要将上图黄框部分进行转换就可以了。下面来看看作者是怎么进行转换的下图大致描述了多路模型转换成单路模型的过程,从计算机视觉就业前景①到②涉及到了将3×3卷积和BN层的合并、1×1卷积转换为3×3卷积及残差模块等效为特殊权重的卷积层。【注意:可能有小伙伴发现上文图中的卷积计算机视觉经典任务后都没有BN层,为什么这里有了了,其实一般卷积后都会跟上BN进行工商银行电话人工客服归一化,上图只是省略了网络的一些细节】

还在用VGG? RepVGG重铸VGG荣光

1、卷积层和BN层的合并

还在用VGG? RepVGG重铸VGG荣光

  上图展示了卷积层和BN层合并的推导过程,非常卷积公式容易理解。但需要注意的是这里的卷积层含有偏置b,往往现在带有BN结构的卷积都不含偏置b了,论文中的推导结构就没带偏置b,如下卷积运算图所示:可以看出,下式和上图推导结构是一致的【符号表示有区别,没有偏置项b】

还在用VGG? RepVGG重铸VGG荣光

2、1×1卷积转换为3×3卷积

  1×1卷积怎么转化为卷积运算3×3的卷积呢?不知道大家有没有什么想法‍♂️‍♂️‍♂️我觉得这个大家应该是很容易就可以想到的——补两圈0!!!所以这部分其实是没什么么好说的,论文中也是一笔带过。但这卷积神经网络里我还是想提醒大家注意一下,因为我们的三路输出最后会通过Add操作,因此在使用3×3卷积时应该使用same形式,即保证输入输出的特征图维度不变

3、残差模块转换为3×3卷积

  我们知道残差模块就是一个恒等映射,即要架构师需要掌握哪些知识求输入等于输出。这一步该怎么实现呢?这里我们可以使用卷积核权重为1的1×1卷积,因为这样的卷积核不会改变输入特征图的值,这样我们就可以将架构图怎么画残差模块等效为1×1的卷积操作了。之后再利用第2步将1×1的卷积转化成3×3的卷积。


卷积的计算机视觉就业前景可加性原理

  完成了上述三步,我们就可以实现从①到②的变换,即现在我们得到了含3路3×3卷积的结构,接下来就是要实现从②到③的转化,即要将含3路3×3卷积的结构变换成只有1路3x计算机视觉3卷积的结构⛳⛳⛳这里需要利用卷积的可加性原卷积公式理,即如果几架构师需要掌握哪些知识计算机视觉是什么大小兼容的二维核在相同的输入上以相同的步幅操作以产生相同分辨率的输出,并且它们的输出被求和,我们可以将这些核在相应的位置相加,从而得到一个产生相同输出的等效核。这句话很好的总结了可加性原理,但是当我开始看到这句话的时候也是不明白为什么,后面也是自己画了一些图,就恍然大悟,所以我想说很多时候我们应该多动手,好卷积神经网络的工作原理脑子不如烂笔头下面给出整理的图片帮助大家理解,如下图:

还在用VGG? RepVGG重铸VGG荣光

还在用VGG? RepVGG重铸VGG荣光

  看了上图可以发现,不管我们是先进行卷积得到结果后再进行Add操作,还是先将卷积核的值先相加得到新的卷积核,然后再进行卷卷积运算积,所得到的结果大学生职业生涯规划书是一样的,这就是大学入党积极分子一定能入党吗卷积的可加性。由此可知,我们将②变为③其实只需要将三个工商银行3×3的卷积核的值进行相加即可!!计算机视觉的研究方向

实验结果

  上面其实就把RepVGG最核心的给讲完了,下面来看一下RepVGG的效果叭。可以看出架构师工资RepVGG的效果还大学英语四六级是很好的,特别的表5中RepVGG-B2的FLOPs是EfficientNet-B3的10倍,但1080Ti上的速度是后者的2倍,这说明前者的计算密度是后者的20余倍。

还在用VGG? RepVGG重铸VGG荣光

还在用VGG? RepVGG重铸VGG荣光

  最后,这里给出丁霄汉本人对这篇文章的一些介绍:RepVGG:极简架构,SOTA性能,让VGG式模型再次伟大(CV卷积云PR龚俊-2021) 也给出文章的下载链接:Rep大学英语四级考试VGG

如若文章对你有所帮助,那就

咻咻咻咻~架构师和程序员的区别~duang~~点个赞呗

评论

发表回复