本文为稀土技术社区首发签约文章，30天内禁止转载，30天后未获授权禁止转载，侵权必究!

beginning

  不知道小伙伴们熟不熟悉工业范畴的缺点检测腻？这我可太熟悉了，究竟是我硕士阶段的老本行所以今天就以钢轨外表缺点为例，和咱们唠唠依据深度学习的钢轨外表伤损细粒度图画辨认与方针检测，学习一下工业缺点检测流程，包括从最开端的数据标示，中心的算法原理，再到最终的落地运用。不管你是搞实践项目or发论文or开阔视野，相信都会有所收获。话不多说，和我一同愉快的学习叭

1.全体流程

  如上图所示，整个流程呢是先拍照并标示一个大规模的轨面伤损方针检测数据集，包括轨面光带、剥离掉块、波浪磨耗等典型的轨面信息。这个数据集在图画数量、分辨率、掩盖类别、方针密度还有小方针代表方面都远远优于现有的相似数据集。有了数据集之后，用它去练习方针检测算法，我在这儿运用的是yolov5进行搬迁学习，得到一个基准模型。对这个基准模型的各类方针进行详细的性能评估，算法对轨面光带、剥离掉块、疲惫裂纹等这些伤损的各类难例都能进行较好的兼容

  有了方针检测算法之后，就能够提出视觉丈量的分析办法了，比方丈量轨面的光带宽度、伤损的标准、轻重伤的总数这样的量化评价方针。有了视觉丈量的信息之后，就能够分别界说各个标准的数据分析、数据结构了，比方实例标准的微观伤损形位的数据结构、图画标准的终端视觉丈量的数据结构等，由不同标准的数据结构能够生成一条轨道交通线路的密布量化地图。最终，把这个方针检测算法模型布置运用在桌面端、云端、web端、网页端、智能手机端和智能硬件端，完成每秒钟20帧的实时检测

  下图是网页端的运转作用，用户能够直接上传手机相册里的图片，也能够现场拍照图片，就能取得一切方针检测和视觉丈量的成果啦。假如感觉挺有意思，跟我一同持续往下看叭

2.方针检测数据集

  数据决定了问题的上限，而算法只是在不断地逼近这个上限。所以数据集是特别特别重要滴！！！特别对于工业范畴的缺点瑕疵检测，一个高质量的数据集就等于成功了一半。

  那工业范畴的数据集是怎样获取滴腻？一般是人工或机器拍照得到的宝贵数据。拿轨面伤损数据集来说，拍照者站在两股钢轨中心，手持拍照设备，镜头距轨面垂直距离200mm，竖直向下聚集拍照，旁边面补光以图画没有阴影和反光为佳，补光角度大概30。

  拍照得到数据集之后，对其间高质量的图片进行细粒度方针检测标示。细粒度标示是怎样完成的腻？如下图的标示所示，咱们对伤损部位进行更精密的围住框标示。相比于现有的粗粒度条带标示和图画分类标示呢，细粒度标示能够反映每一片裂纹、每一块掉块、每一处薄膜的实例级类别和行为信息，对每一片伤损进行独立的区分，这样才有助于后续进行标准、面积、波长的丈量和量化评价。那小伙伴们可就要问了，为啥要进行这么精密的标示呢？由于工业范畴的零部件瑕疵都很细小，所以惯例的方针检测标示不太适用

  这儿运用的标示东西为Labelimg，标示之后就得到记录每一张图片中每一个方针的类别和矩形框坐标方位的标示文件，下图便是PASCAL VOC标示格式的xml文件。咱们能够依据需求挑选标示东西和格式

  在数据集中还呈现了许多比照度低，肉眼不容易标示的图画，比方背景十分漆黑，聚集模糊或许轨面有反光。这些图画数据在工业范畴是很常见的，究竟拍照的环境摆在那儿了。所以咱们一般要对它们进行一个图画的处理，例如直方图均衡化、图画去噪、改变比照度等。下图是对轨面图画进行依据受限比照度自适应直方图均衡化的难例图画辅助增强办法的作用图。能够看到，经过图画处理之后，本来集中在极亮区和极暗区的像素峰值就被拉平了，较均匀的散布于全部的灰度空间，细节方面得到了增强。

  假如你想了解更多关于轨面伤损数据集的细节，请看这儿叭➡轨面伤损数据集Rail-5K论文

3.依据yolov5的伤损检测算法

  接下来，将结构好的数据集送入yolov5中，选取yolov5x模型作为预练习模型，在它的基础上进行搬迁学习，练习轨面伤损的检测基准模型（咱们也能够挑选其他的检测模型喔）

  小伙伴们可能了解过这个模型，有些当地或许一知半解，那我就通俗易懂的说一下它的原理腻如下图所示，yolov5x模型由三部分组成：Backbone主干网络、Neck颈部网络、Head检测头。图中橙色的块表明Focus操作；CBL代表卷积、batch normalization和leaky relu操作；CSP代表跨阶段局部网络CSPNet；SPP代表空间金字塔池化；concat代表沿通道方向堆叠feature map；紫色的conv代表11卷积操作。

  Backbone主干网络用于提取图画特征。yolov5运用CSPDarknet和FPT作为主干网络。CSPNet处理了大型主干网络优化时的梯度信息重复问题，将梯度改变从头到尾集成在特征图中，减少了模型的参数量。yolov5s中包括了CSP1_X和CSP2_X这两种CSP结构，分被用于主干网络和颈部网络。yolov5在主干网络的第一层经过橙色的Focus操作，把长度和宽度方向的空间维度信息切片并堆叠至通道维度，长宽缩小为本来的一半，通道数增加为本来的4倍，减少了核算量

  Neck颈部网络用于整合各标准的特征，生成特征金字塔FPN，首要由FPN和PAN组成。它把不同标准的特征汇总整合，增强了模型对不同标准方针的辨认能力。这儿再细说一下，FPN经过融合高底层特征，提高了不同标准特别是小标准方针的检测作用；而PAN呢，在FPN的基础上进一步增强了自底向上的特征增强。那为什么这样能改进腻？究其原理，就在于底层卷积神经网络首要提取边际、轮廓、色彩等底层重要的视觉特征，因此PAN它自底向上的增强就能够让顶层特征图也能充分共享到网络底层特征，提高大方针的检测作用

  Head检测头用于回归输出猜测框的方位和类别。它经过11卷积运算输出了三组特征图，便是图中的三组蓝色方块，每组特征图都包括了对应标准提取出的猜测框类别、置信度和像素坐标信息。这三组特征图的张量数据结构分别是batchsize548080、batchsize544040和batchsize542020，其间batchsize是每一批每一步的样本数。

  经过练习后就得到了如下图各类别的检测成果。能够看到轨面的AP最高，达到了0.98，阐明算法对轨面类的辨认性能最好，所以后续咱们会运用轨面的猜测框宽度和轨面实践的物理宽度来核算像素和毫米之间的换算关系，称之为定位标尺(由于轨面的AP最高，所以这个标尺是可信滴)

4.一些练习技巧

  在基准模型的基础上，能够进行一些调参比照实验，成果如下图所示。

  基准模型呢是从MS COCO数据集预练习权重的基础上搬迁练习得到的。那什么是搬迁学习腻？简单来说，搬迁学习便是经过将已有使命的知识和模型运用到新使命中，然后加快新使命的学习过程。

  举个小比如：假设咱们现已在一个大型图画数据集上练习了一个卷积神经网络来辨认不同的动物。现在，咱们面临一个新使命，要求咱们构建一个模型来辨认花卉相片。传统的办法是从零开端练习一个新的模型，但这需求大量的时间和核算资源。而搬迁学习的思维则能够更高效地处理这个使命。咱们能够运用之前练习好的动物辨认模型，将其作为新使命的起点，运用在动物辨认使命中练习得到的模型作为花卉辨认使命的预练习模型，预练习模型现已学到了一些通用的特征，如边际检测和纹理辨认，这些特征对花卉辨认也是有用的。(考虑后续能够详细介绍一下搬迁学习)

  假如你不运用预练习好的模型，而是重新初始化模型权重的话，那么它在大多数类别的性能上是不如搬迁学习滴所以这就告诉咱们，哪怕是你用yolo处理彻底不一样的图画域，人家原始的yolo是在天然图画上练习的，而现在咱们要处理钢轨外表伤损的问题，仍然是能够借鉴天然图画练习的预练习特征和权重来搬迁泛化的。视觉问题都是有一些共同的、共享的特征能够让咱们站在巨人肩膀上，不必自己重复造轮子，能够复用的

  除了搬迁学习之外，马赛克拼接图画增强、多模型集成等一些技巧都能够运用。

5.视觉丈量与量化评价

  （这一节不是一切工业范畴的缺点检测所必需的步骤）咱们需求取得像素和实在物理的毫米长度之间的换算关系。在钢轨范畴，轨头宽度这个实在的物理毫米数咱们是知道的，比方73毫米，咱们猜测框的像素，比方说1654像素，那么它就对应了73毫米，咱们就能算出一像素代表0.044毫米，这是这张图片的测距标识。每张图片的测距标识都有可能是不一样的，所以都需求单独核算一下。有了测距标识，一切跟像素有关的量都能够转化成跟长度、面积有关的量。详细流程如下所示

6.图画辨认运用布置

  有了方针检测模型之后，就能够把整个模型运用布置在桌面端、网页端、智能硬件端等。这儿推荐两个好用的运用布置。

  $云端$：能够运用华为云的一站式开发渠道ModerArts来开发微信小程序。ModerArts提供数据结构化标示管理，大规模散布式模型练习服务，一起支撑模型在智能终端、边际核算和云端的布置运用。在这儿运用的是ModerArts主动学习功用里面的方针检测模块。只需求把数据、标示上传上去，点击主动练习，它就会主动依据练习数据集进行模型设计、参数调优、模型练习、模型紧缩加快和在线布置，基本上不必写代码，无需复杂的编程算法经历，就能够完成我想要的使命啦。主动学习功用还包括图画分类、方针检测、猜测分析、声响分类、文本分类等各种人工智能算法的落地运用(怎样样！！！这个是不是超好用滴，快去试试叭)✌✌✌

  $云端$：终端的话不需求网络，直接在本地进行边际核算和推理。这儿开发了一个安卓app，底层是腾讯的优图实验室针对手机移动端的高性能神经网络前向核算框架，叫做NCNN。在pytorch上练习了yolov5的基准模型，即取得了一个.pt格式的文件，经过NCNN呢把它转成NCNN的格式，然后在java native inteface中运用c++接口，对接这个NCNN的模型文件到安卓手机的运用程序中，再用安卓内置的canvas制作猜测框，就做成了一款安卓的手机运用。

ending

  看到这儿或许小伙伴们会问，既然是针对外表缺点，为什么不必超声波或许激光扫描呢？这样会更准啊准是准了，但是它贵呀！激光要做精度的话，能做的10w+一台，而工业摄像头没有那么贵。况且你细品“普通人认为的廉价几千块钱换90%的准确率，工程上认为的廉价几万几十万换99%的准确率”

  相信盆友们对工业范畴缺点检测有了更深的认识了叭，假如你也觉得我的分享对你有所协助，please一键三连嗷！！！下期见