自监督图像论文精读 | BYOL（SOTA）

文章原创自微信公众号「机器学习炼丹术」

作者：炼丹兄
联系方式：微信cyx645016617

本篇文章主要讲解两个无监督2020年比较新比较火的论文：

论文名称：“Bootstrap Your Own Latentappstore: A New Approach to Self-Supervised Learning”
论文链接：https://arxiv.org/pdhttp代理f/2006.07733.pdf

0 综述

BYOL是https和http的区别Boostrap Your Own Latent，这个无监督框架非常的优雅和简单，而且work。收到了很多人的称赞，上一个这样起名的在我认知中就是YOLO。两者都非常简单而优美。

1 数学符号

这个结构有两个网络，一个是online network，一个是targhttps和http的区别et network。

online network：用来表示online network的参数，包含，encoder $ff_{theta}$ ,projector $gg_{theta}$ 和predictor $qq_thetaapple$
target netowrk:使用来表示参数，也有 $ff_{xi}$ 和 $gg_{xi}$ ,但是没有predictor。

我们会更新onlihttp 302ne network，然后用滑动平均的方式，更新tar笔记本电脑排名前十get network：

$\leftarrow + (1 -)$

现在我们有一个图像数据集D，其中获取一个图片 $x \in D$ ,然后我们对这个D做不同的https域名图像增强，得到了两个新的分布 $T$ 和 $T^{'}$ ,然后从两个新分布中获approve取的图片，http 302用 $v$ 和 $v^{'}$ 标记。也就是说，如果用 $t ()$ 和 $t^{'} ()$ 表示对图像做图像增强的过程，那么 $v = t (x), v^{'} = t^{'} (x)$ 。

2 损失函数

我们现在有 $v$ ，经过encoder，得到 $y=f(v)y=f_{theta}(v)$ ,经过prejector，得到 $z=g(y)z=g_{theta}(y)$ ,经过phttp 404redictor，得到 $q(z)q_{theta}(z)$ ;同理，targeappeart network也是如此，只是没有最后的applicationpredictor，最终得到 $z^{'}$ 。

我们对 $z^{'}$ 和 $q(z)http代理q_{theta}(z)$ 做l2-normalizatio笔记本电脑连不上无线网怎么回事n，含义为取出这两个隐含变量的绝appleid对大小，而保留其方向性，为后面要做的向量点乘做铺垫。

上图中，笔记本电脑性价比排行2020 $q(z)=q(z)∣∣q(z)∣∣2bar{q_{th笔记本eta}}(z)=frac{q_{theta}(httpclientz)}{||q_{theta}(z)||_2}$ ，损失函数不难，其实有点像是： $2 - 2 cos$

上面，我们得到了损失 $Lappleid,L_{theta,xi}$ ，接下来，我们需要计算symmetric loss，这个是把v和v‘分别放入target network和online network计算，得到的 $L~,widetilde{L}_{theta,xi}$ ,然后论文中提到，通过SGD来最小化

$L,BYOL=L,+L~,L^{BYOL}_{theta,xi}=L_{theta,xi} + widetilde{L}_{theta,xi}$

需要注意的是，这个优化的过程，仅仅更新online network，http://192.168.1.1登录target network的参数不变化，目的是让ohttp代理nline network逐渐拥http 302有thttps协议arget network的性能

因此，这个BYOL的整个训练过程可以浓缩成下面的两行：

3 细节部分

3.1 图像增强

3.2 结构

上图中的e笔记本电脑排名前十ncoder $f,ff_{theta},f_{xi}$ 使用的是resnet50和post ahttp 404ctivation，这里第一次看到post activation，就去看了一下application发现，其实就是先卷积还是先激活层，如果relu放在conv后面就是post activation，relu放在conv前面就是pre activation。http://www.baidu.com

经过encoder，一个图片会输出2048个features，然后经过MLP，特征扩展到4096个特征，最终输出256个特征，在SimCLR模型中，MLapplicationP后跟了一个BN层和Relu激活层，但是在BYOP中没有BN层。

3.3 优化器

使用的是LARS优approve化器，使用cosine 学习率衰减策略，训练1000epoappleidch，其中包含10个warn-up epoch。学习率设置的为0.2。

至于online更新到target的参数, $base=0.996tau_{base}=0.996$ ,

$500au=1-(1-tau_{base})(cosfrac{piappstore k}{K}+1)frac{1}{2}$

k is current training step and Khttpwatch is maxihttp://www.baidu.commum train笔记本电脑排名前十ing steps.

3.4 财力

batchsize为4096，分布在512个TPU v3的核，训练encoder大约需要8个hohttps域名ur。

4 模型评估

在ImageNet上做监督学习，先用无监督训练好enc笔记本电脑开机黑屏没反应怎么办oder后，然后用标准appreciate的resnet50进行监督微调：

前面http://192.168.1.1登录同行，这里的监督训练也是获取ImageNet上的笔记本电脑开不了机少部分数据集进行训练，所以叫做semhttp 500i-supervhttp协议ised：

这样的方法在其他的分类数据集上的效果：

觉得笔记本电脑开不了机笔记不错的，可以关注作者的微信公众http 302号「机器学习炼丹术」。

自监督图像论文精读 | BYOL（SOTA） | 2020

0 综述

1 数学符号

2 损失函数