这是我参与2022首次更文挑战的第25天,活动详情查看:2022首次更文挑战
在特斯拉 AI Day 上,安德烈卡帕西给出一些特斯拉基于视觉 FSD 的一些设计细节。其内容还是具有很多营养,在网络结构图中,我们就看到了 ReNet 是特斯拉网络主干网络。
在一篇文章或者分享视频我还说成了 ResNet,当时将其看成 ResNet,主要还是当时并不了解,架构图甚至都听过 RegNet 这个网数组络,对于特斯拉这样中多任务网络,一架构师个好的主干网络是多数组么至关重要,需要从图像中提取出表达能力强的特征来满足下游的任务,这个领域作为自架构设计己并不架构图熟悉,所以想了解一下。虽架构工程师然不是 ResNet 但是这个网络也是由现在 facebook 的 FAIR 中大佬何凯明提出,不得不说声佩服,凯明大佬。
不过想一想,NAS 也好 RegNet 也好是我们这样小公司都玩不起,更别说个人了。不过我们到可以跟着大佬脚步,一边阅读一边感受 paper 中成果给我们带来快感,仿佛身临其境,也可以日后成我们在聊天时炫耀的资本而已。
现在网络结构变得越来越复杂,不想在 ResNet 之前网络一眼就可以看个大概。而且现在网络参数组c语言数也越来越多,如何有效将这些参数组织在一起也是需要设计人员通过大量的实验来找到一个较优的组合。
NAS(Neural Architech数组词ture Search) 通过学习来找到一个比较好网络结果,NAS 通常是在一个给定的网络空间,那么这个空间里如果找到网络结构比较好架构图,要远远优于这个空间内其他网络,可能是因为这个网络更适合某一特定任务,而缺少一定泛化能力。如果架构图模板在这个空间所有网络表现都比较好,那么这个功劳并不架构图模板能归功于 NAS 而是说明我们之前人为设定子空间架构师工资比较好而已。
既然找到一好的空间成为找到一个架构师工资好网结构的前提,可以设计网络来找到网络设计空间,这样一来在架构图模板好的设计空间我们数组词自然会找到一个好数组词的数组c语言网络。基本思想是可以从设计空间中进行采样,然后采用经典的统计原理来分析采集的样本,来作为设计空间的评价指标
其实 RegNet 充分使用了 Ilija Radosavovic 上篇 Designing Network DesignSpaces 工作,在这篇文章中提出一个有趣想法,想要探索一个具有高数组去重可塑性的网络架构,这样架构可以适合运行在一些移动设备上,并且会有不错的表现。通过调整参数来控制网络的宽度、深度和分辨率。
其实 RegNet 并不是一个网络结构,而是一个设计空间。网络设计空间不仅如其名,是由不同的模型架构组成的,而且是由不同的参数组成的,不同模型架构和参数定义了一个网络设计空间。这与 NAS 是在不同网络架构中,尝试不同网络宽度、深度和分辨率来搜索得到一个最佳网络不同,RegNet 只使用一种现有数组c语言块架构图怎么制作,例如瓶颈块来打架网络结构。
可数组公式以在设计空间采集训练 n 个模型,架构然后用这些模型在 ImageNet 上进行少量训练,然后评估这些模型的误数组公式差 EDF 作为该设计空间的评估,