继续创作，加快生长！这是我参与「日新方案 · 10 月更文应战」的第24天，点击查看活动概况

导读

对监控范畴的方针盯梢办法以及面对的应战进行了一个介绍，是一个很好的了解方针盯梢范畴的“是什么”和“为什么”问题的文章。

图片

在咱们深入到方针盯梢的国际之前，咱们有必要了解监控国际的“为什么”和“是什么”。全球各国都安装了数百万个摄像头，但简直没有人监控它们。人与摄像机的比例很小。

因为深度学习技术在监控范畴的广泛应用，智能软件在曩昔十年中接管了监控范畴。复杂的问题，如人员盯梢，交通密度估计，偷盗维护等，现已被国际各地的超卓研讨人员处理了，并显现了巨大的前景。

本文将向你介绍智能监控中最重要的主题之一 —— 方针盯梢。

介绍

方针盯梢是指依据之前的信息估计场景中方针物体的状况。

图片

在high level的抽象中，首要有两个层次的物体盯梢。

  • 单方针盯梢(SOT)
  • 多方针盯梢(MOT)

方针盯梢不局限于二维序列数据，能够应用于三维范畴。

在本文中，咱们将深入研讨方针盯梢范式的一个子范畴，即运用深度学习的二维视频序列中的多方针盯梢(MOT)。

深度神经网络(DNN)的强壮之处在于它们能够学习丰富的表明，并从输入中提取复杂和抽象的特征。

多方针盯梢(MOT)，也称为多方针盯梢(MTT)，是一种计算机视觉任务，旨在分析视频，以辨认和盯梢归于一个或多个类别的方针，如行人，轿车，动物和无生命的物体，没有任何先验的方针外观和方针数量。

在单方针盯梢中，方针的出现是预先知道的，而在多方针盯梢中，需求一个检测步骤来辨认出进入或离开场景的方针。同时盯梢多个方针的首要困难来自于各种各样的遮挡以及物体之间的彼此重叠，有时物体间也会有类似的外观。因此，只是运用SOT模型直接处理MOT问题，往往会导致较差的成果，往往会导致方针漂移和很多的ID切换过错，因为此类模型往往难以区分外观类似的类内物体。

近年来，因为深度学习办法的研讨呈指数级增加，检测和盯梢办法在准确性和功能方面取得了巨大的前进。

大多数先进的盯梢办法遵从“检测盯梢”的方案，他们首先在场景中找到方针，然后找到方针对应的tracklets(它在下一帧的方位)。

如今，这种探测器的功能异常超卓，能够适应不同的场景。因此，它定义了盯梢算法的标准输入。

图片

还有其他的办法，比方Lucas Kanade的光流，根据排序的盯梢等，它们在传统的计算机视觉办法的基础上体现也都很超卓。

应战

在处理方针盯梢问题时，会出现一些问题，这些问题会导致糟糕的成果。多年来，算法试图处理这些问题，但到目前为止，咱们还没有找到一个被充分证明的处理办法，这仍然是一个开放的研讨范畴。

  • 因为几何改变导致的多样性，如：姿势，关节，物体的尺度

图片

  • 因为光学要素的差异。例如：照明、外观
  • 非线性运动
  • 有限的分辨率，如从低端手机收集的视频
  • 场景中有类似的物体，例如：相同色彩的衣服，配饰等
  • 高度拥堵的场景，如街道，音乐会，体育馆，商场。

图片

  • 盯梢开始和终止。在开始任何盯梢算法之前，你需求想要盯梢的物体的先验信息。可是并不是必定能够运用方针方针初始化算法。
  • 盯梢轨迹或许因为运动的忽然改变导致合并和切换，比方相机成像质量的急剧改变等。

图片

  • 因为类似的特征，如类似的衣服，面部结构，眼镜，肤色，身高级，方针物体的ID或许被切换。
  • 方针模型更新过错导致漂移。一次过错的更新或许会导致在过错的方向上继续的更新，从而在整个视频中遗忘掉正确的方针。

总述文章

现在你现已了解了这个问题的广泛性，让咱们深入研讨方针盯梢范畴中一些最令人兴奋的研讨工作。

在方针盯梢范畴领先的研讨办法的选择标准是根据5 要害目标：

  • 首要会议(如:CVPR, NeurIPS, ICCV, ICML, ECCV等)
  • 基准测试成果(例如，MOT, Kitti, VOT, CVPR19应战)
  • 支撑论文成果的公开代码(由作者/第三方供给)。
  • 引用
  • 新的想法

有太多令人兴奋的研讨工作。可是，假如作者不能供给代码(或许是因为一些原因)来重现论文中的成果，那么咱们不得不对文档中说到的成果持保留态度。

咱们现已说到了与2D MOT相关的论文，但有些想法也能够外推到3D版本。

一些有意思的研讨文章共享

这些只是精心选择出来的一些非常好的盯梢范畴的研讨论文：

1、Tracking without bells and whistles.

论文：arxiv.org/pdf/1903.05…

代码：github.com/phil-bergma…

2、Extending IOU Based Multi-Object Tracking by Visual Information.

论文：elvera.nue.tu-berlin.de/files/1547B…

代码：github.com/bochinski/i…

3、Tracking Objects as Points.

论文：arxiv.org/pdf/2004.01…

代码：github.com/xingyizhou/…

4、Fast Visual Object Tracking with Rotated Bounding Boxes

论文：arxiv.org/pdf/1907.03…

代码：github.com/baoxinchen/…

5、ODESA: Object Descriptor that is Smooth Appearance-wise for object tracking tasks

还没release，CVPR MOT 2019冠军。

6、Online Multiple Pedestrian Tracking using Deep Temporal Appearance Matching Association.

论文：arxiv.org/pdf/1907.00…

代码：暂无

英文原文：medium.com/visionwizar…