前言 少样本学习(FSL)是机器学习的一个子范畴，它处理了只用少量符号示例学习新使命的问题。FSL的全部意义在于让机器学习模型能够用一点点数据学习新东西，这在收集一堆符号数据太贵重、花费太长时间或不实用的情况下非常有用。
本文转载自DeepHub IMBA
作者 | Christophe Atten
仅用于学术分享，若侵权请联系删去
欢迎重视公众号CV技能指南，专心于核算机视觉的技能总结、最新技能盯梢、经典论文解读、CV招聘信息。
CV各大方向专栏与各个布置结构最全教程整理
核算机视觉入门1v3辅导班
少样本学习办法
支撑样本/查询集:运用少量图片对查询集进行分类。
少样本学习中有三种首要办法需要了解:元学习、数据级和参数级。
- 元学习:元学习包含练习一个模型，学习怎么有效地学习新使命;
- 数据级:数据级办法侧重于添加可用数据，以提高模型的泛化功能;
- 参数级:参数级办法旨在学习更强健的特征表明，以便更好地泛化到新使命中
元学习
元学习(学习怎么学习)。这种办法练习一个模型学习怎么有效地学习新使命。这个模型是关于辨认不同使命之间的共同点，并运用这些常识经过几个比如快速学习新东西。
元学习算法通常在一组相关使命上练习模型，并学习从可用数据中提取与使命无关的特征和特定于使命的特征。使命无关的特征捕获关于数据的一般常识，而使命特定的特征捕获当时使命的细节。在练习过程中，算法经过仅运用每个新使命的几个符号示例更新模型参数来学习习惯新使命。这使得模型能够用很少的示例推广到新的使命。
数据级办法
数据级办法侧重于扩充现有数据，这样能够协助模型更好地舆解数据的底层结构，从而提高模型的泛化功能。
首要思想是经过对现有示例使用各种转换来创立新的示例，这能够协助模型更好地舆解数据的底层结构。
有两种类型的数据级办法:
- 数据增强:数据增强包含经过对现有数据使用不同的转换来创立新的示例;
- 数据生成:数据生成触及运用生成对抗网络(GANs)从头生成新的示例。
数据级的办法:
参数级办法方针是学习更强健的特征表明，能够更好地泛化到新的使命。
有两种参数级办法:
- 特征提取:特征提取触及从数据中学习一组特征，能够用于新使命;
- 微调:微调包含经过学习最优参数使预练习的模型习惯新使命。
例如，假定你有一个预先练习好的模型，它能够辨认图画中的不同形状和颜色。经过在新数据集上微调模型，只需几个示例，它就能够快速学会辨认新的类别。
元学习算法
元学习是FSL的一种盛行办法，它触及到在各种相关使命上练习模型，以便它能够学习怎么有效地学习新使命。该算法学习从可用数据中提取使命无关和使命特定的特征，快速习惯新的使命。
元学习算法能够大致分为两种类型:依据衡量的和依据梯度的。
依据衡量的元学习
依据衡量的元学习算法学习一种特别的办法来比较每个新使命的不同示例。他们经过将输入示例映射到一个特别的特征空间来完成这一点，在这个空间中，类似的示例放在一起，而不同的示例则分开很远。模型能够运用这个间隔衡量将新的示例分类到正确的类别中。
一种盛行的依据衡量的算法是Siamese Network，它学习怎么经过运用两个相同的子网络来丈量两个输入示例之间的间隔。这些子网络为每个输入示例生成特征表明，然后运用间隔衡量(如欧几里得间隔或余弦类似度)比较它们的输出。
依据梯度元的学习
依据梯度的元学习学习怎么更新他们的参数，以便他们能够快速习惯新的应战。
这些算法练习模型学习一组初始参数，只需几个比如就能快速习惯新使命。MAML (model – agnostic元学习)是一种盛行的依据梯度的元学习算法，它学习怎么优化模型的参数以快速习惯新使命。它经过一系列相关使命来练习模型，并运用每个使命中的一些示例来更新模型的参数。一旦模型学习到这些参数，它就能够运用当时使命中的其他示例对它们进行微调，提高其功能。
依据少样本学习的图画分类算法
FSL有几种算法，包含：
- 与模型无关的元学习(Model-Agnostic Meta-Learning): MAML是一种元学习算法，它为模型学习了一个杰出的初始化，然后能够用少量的比如习惯新的使命。
- 匹配网络 （Matching Networks）:匹配网络经过核算类似度来学习将新比如与符号的比如匹配。
- 原型网络（Prototypical Networks）:原型网络学习每个类的原型表明，依据它们与原型的类似性对新示例进行分类。
- 联系网络（Relation Networks）:联系网络学会比较成对的比如，对新的比如做出猜测。
与模型无关的元学习
MAML的要害思想是学习模型参数的初始化，这些参数能够经过一些示例习惯新使命。在练习过程中，MAML承受一组相关使命，并学习仅运用每个使命的几个符号示例来更新模型参数。这一过程使模型能够经过学习模型参数的杰出初始化来泛化到新的使命，这些参数能够快速习惯新的使命。
匹配网络
匹配网络是另一种常用的少样本图画分类算法。它不是学习固定的衡量或参数，而是依据当时支撑集学习动态衡量。这意味着用于比较查询图画和支撑集的衡量因每个查询图画而异。
匹配网络算法运用一种注意力机制来核算每个查询图画的支撑集特征的加权和。权重是依据查询图画和每个支撑集图画之间的类似性来学习的。然后将支撑集特征的加权和与查询图画特征连接起来，得到的向量经过几个全连接的层来产生最终的分类。
原型网络
原型网络是一种简单有效的少样本图画分类算法。它学习图画的表明，并运用支撑示例的嵌入特征的平均值核算每个类的原型。在测验过程中，核算查询图画与每个类原型之间的间隔，并将原型最近的类分配给查询。
联系网络
联系网络学习比较支撑会集的示例对，并运用此信息对查询示例进行分类。联系网络包含两个子网络:特征嵌入网络和联系网络。特征嵌入网络将支撑会集的每个示例和查询示例映射到一个特征空间。然后联系网络核算查询示例和每个支撑集示例之间的联系分数。最终运用这些联系分数对查询示例进行分类。
少样本学习的使用
少样本学习在不同的范畴有许多使用，包含:
在各种核算机视觉使命中，包含图画分类、方针检测和分割。少样本学习能够辨认图画中不存在于练习数据中的新对象。
在自然语言处理使命中，如文本分类、情感分析和语言建模，少样本学习有助于提高语言模型在低资源语言上的功能。
在机器人技能中运用少量次学习，使机器人能够快速学习新使命，习惯新环境。例如，机器人只需要几个比如就能够学会捡起新物体。
少样本在医疗诊断范畴能够在数据有限的情况下辨认稀有疾病和异常，能够协助个性化医治和猜测患者的结果。
总结
少样本学习是一种强大的技能，它使模型能够从少量比如中学习。它在各个范畴都有很多的使用，并有或许彻底改变机器学习。随着不断的研讨和开发，少样本学习能够为更高效和有效的机器学习系统铺平道路。
欢迎重视公众号CV技能指南，专心于核算机视觉的技能总结、最新技能盯梢、经典论文解读、CV招聘信息。
核算机视觉入门1v3辅导班
【技能文档】《从零搭建pytorch模型教程》122页PDF下载
QQ沟通群：470899183。群内有大佬担任回答大家的日常学习、科研、代码问题。
其它文章
方针检测Trick | SEA办法轻松抹平One-Stage与Two-Stage方针检测之间的距离
少样本学习综述：技能、算法和模型
CVPR 2023 | 标示500类，检测7000类！清华大学等提出通用方针检测算法UniDetector
CVPR 2023｜依据多层多尺度重建使命的MIM改进算法
CVPR 2023 | 超越MAE！谷歌提出MAGE：图画分类和生成到达SOTA！
称霸Kaggle的十大深度学习技巧
CVPR 2023 | 用于半监督方针检测的常识蒸馏办法
方针盯梢方向开源数据集资源汇总
CVPR2023 | 书生模型霸榜COCO方针检测，研讨团队解读揭露
Vision Transformer的重参化也来啦 | RepAdpater让ViT起飞
高效紧缩99%参数量！轻量型图画增强计划CLUT-Net开源
一文了解 CVPR 2023 的Workshop 都要做什么
CVPR’23 最新 70 篇论文分方向整理｜包含方针检测、图画处理、人脸、医学影像、半监督学习等方向
方针检测无痛涨点新办法 | DRKD蒸馏让ResNet18拥有ResNet50的精度
PyTorch 2.0正式版来了！
CVPR2023最新Backbone | FasterNet远超ShuffleNet、MobileNet、MobileViT等模型
CVPR2023 | 集成预练习金字塔结构的Transformer模型
AAAI 2023 | 一种通用的粗-细视觉Transformer加快计划
大核分解与注意力机制的奇妙结合，图画超分多尺度注意网络MAN已开源！
MIRNetV2 更快、更强、更轻量！
AI布置与算法/自动驾驶/深度学习材料汇总！
点云模型专栏（一）概述、特性、存储格式、数据集
核算机视觉各个方向沟通群与常识星球
【免费送书活动】 全新轻量化模型 | 轻量化沙漏网络助力视觉感知涨点
CV小常识讨论与分析(7) 寻觅论文创新点的新方法
CV小常识分析与讨论(6）论文创新的一点误区
核算机视觉入门1v3辅导班
核算机视觉沟通群
聊聊核算机视觉入门
