内容一览： 人脸辨认能够确定人类身份，这一技能延申到鲸类，便有了「背鳍辨认」。「背鳍辨认」是运用图画辨认技能，经过背鳍辨认鲸类物种。传统的图画辨认依赖于卷积神经网络 (CNN) 模型，需求很多练习图画，并且只能辨认某些单物种。近期，夏威夷大学的研讨人员练习了一种多物种图画辨认模型，该模型在鲸类运用中体现出色。
关键词： 图画辨认 鲸类动物 ArcFace
作者｜daserney
编辑｜慢慢、三羊
本文首发于 HyperAI 超神经微信大众渠道~
鲸类动物是海洋生态系统的旗舰动物和指示性生物，关于维护海洋生态环境具有极高的研讨价值。传统的动物身份辨认需求对动物进行现场拍摄，记载个别呈现的时刻和位置，包含许多过程，过程冗杂。 其间又以图画匹配——在不同图画中辨认出同一个别尤为耗时。
2014 年 Tyne 等人打开的一项研讨估计，在对斑海豚 (Stenella longirostris) 进行为期一年的捕捉和释放查询中，图画匹配耗费了超越 1100 个小时的人力劳作，简直占据了整个项目总经费的三分之一。
近期，来自夏威夷大学 (University of Hawai‘i) 的 Philip T. Patton 等研讨人员，运用 5 万多张相片（包含 24 种鲸类动物、39 个目录），练习了根据人脸辨认 ArcFace Classification Head 的多物种图画辨认模型。该模型在测验集上达到了 0.869 的均匀精确率 (MAP)。其间，10 个目录的 MAP 得分超越 0.95。
目前该研讨已发布在《Methods in Ecology and Evolution》期刊上，标题为「A deep learning approach to photo–identification demonstrates high performance on two dozen cetacean species」。
该研讨成果已宣布在《Methods in Ecology and Evolution》
论文地址：
besjournals.onlinelibrary.wiley.com/doi/full/10…
数据集：25 个物种、39 个目录
数据介绍
Happywhale 和 Kaggle 与全球研讨人员协作，组建了一个大规模、多物种的鲸类数据集。该数据集是为 Kaggle 竞赛搜集的，要求参赛团队从背鳍/侧身的图画中辨认个别鲸目动物。数据集包含 25 个物种 (species) 的 41 个目录 (catalogues)，每个目录包含一个物种，其间有些目录中的物种会重复呈现。
该研讨去掉了两个竞赛目录，由于其间一个只要 26 张用于练习和测验的低画质图画，而另一个目录则缺少测验集。终究的数据集包含 50,796 张练习图画和 27,944 张测验图画，其间，50,796 张练习图画包含 15,546 个身份 (identities)。 在这些身份中，9,240 个 (59%) 只要一张练习图画，14,210 个 (91%) 有 5 张以内练习图画。
数据集及代码地址：
github.com/knshnb/kagg…
练习数据
为了解决图画布景杂乱的问题，一些参赛者练习了图画裁剪模型，能够自动检测图画中的鲸类动物，并在其周围制作鸿沟框。下图中能够看出，这一流程包含 4 个鲸类检测器，运用了 YOLOv5 和 Detic 在内的不同算法， 检测器的多样性增加了模型的鲁棒性，并且能对实验数据进行数据增强。
图 1：竞赛会集 9 个目录的图画以及 4 个鲸类检测器生成的鸿沟框
每个鸿沟框生成的裁剪的概率为：赤色为 0.60，橄榄绿为 0.15，橙色为 0.15，蓝色为 0.05。裁剪后，研讨人员将每个图画的巨细调整为 1024 x 1024 像素，以与 EfficientNet-B7 backbone 兼容。
调整巨细后，运用仿射改换、调整巨细和裁剪、灰度、高斯含糊等数据增强技能，避免模型呈现严峻过拟合。
数据增强是指在练习过程中对原始数据进行改换或扩充，以增加练习样本的多样性和数量，然后提高模型的泛化能力和鲁棒性。
模型练习：物种 &个别辨认左右开弓
下图显现了模型的练习流程，如图中橙色部分所示，研讨人员将图画辨认模型分为 3 个部分：backbone、neck 和 head。
图 2：多物种图画辨认模型练习 Pipeline
图中第一行是预处理过程（以一般海豚 Delphinus delphis 图画为例）， 由 4 个目标检测模型生成 crops，数据增强过程生成两个示例图画。
最下面一行则显现了图画分类网络的练习过程， 从 backbone 到 neck 再到 head。
图画首先经过网络进入 backbone。 曩昔十年的一系列研讨已经产生了数 10 种盛行的 backbone，包含 ResNet、DenseNet、Xception 和 MobileNet。经历证，EfficientNet-B7 在鲸类运用中体现最佳。
Backbone 获取图画后，经过一系列卷积层和池化层对其进行处理，然后生成图画的简化三维表明。Neck 将此输出减少为一维向量，又称为特征向量。
两个 head 模型，都将特征向量转换为类概率，即 Pr(species) 或 Pr(individual)，分别用于物种辨认和个别辨认。 这些 classification heads 被称为具有动态边距的次中心 ArcFace，普遍适用于多物种图画辨认场景。
实验成果：均匀精度 0.869
对测验会集的 21,192 张图画（24 个物种的 39 个目录）进行猜测，获得了 0.869 的均匀精度 (MAP)。 如下图所示，均匀精度因物种而异，且与练习图画或测验图画的数量无关。
图 3：测验集的均匀精度
顶部面板按用途（即练习或测验）显现每个物种的图画数量。具有多个目录的物种，则用 x 表明。
图中显现，该模型在辨认齿鲸 (toothed whale) 时体现较好，而在辨认须鲸 (baleen whale) 时体现较差， 其间只要两个须鲸物种的得分超越了均匀水平。
关于多目录物种，模型功能也存在差异。 例如，一般小须鲸 (Balaenoptera acutorostrata) 不同目录之间的 MAP 得分分别为 0.79 和 0.60。其他物种如白鲸 (Delphinapterus leucas) 和虎鲸在不同目录之间的体现也有较大差异。
对此，研讨人员尽管没有找到能解释这种目录级功能差异的原因，但他们发现一些定性目标如含糊度、独特性、符号混杂、距离、对比度和水花等，或许会影响图画的精度得分。
图 4：或许影响目录级功能差异的变量
图中每个点代表竞赛数据会集的一个目录，像素表明图画和鸿沟框宽度。Distinct IDs 表明练习会集不同个别的数量。然而，目录级 MAP 与均匀图画宽度、均匀鸿沟框宽度、练习图画数量、不同个别数量以及每个个别的练习图画数量之间并没有明确的关联。
综合以上，研讨人员提出用该模型进行猜测时，代表 7 个物种的 10 个目录均匀精度高于 0.95，功能体现优于传统猜测模型，进而阐明运用该模型能正确辨认个别。此外，研讨人员还在实验过程中总结出 7 点关于鲸类研讨的注意事项：
- 背鳍辨认体现最佳。
- 显着个别特征较少的目录体现欠安。
- 图画质量很重要。
- 运用色彩辨认动物或许较为困难。
- 特征相关于练习集差距较大的物种得分较差。
- 预处理仍然是一个妨碍。
- 动物符号变化或许会影响模型体现。
Happywhale：鲸类研讨的大众科学渠道
本文数据集介绍中说到的 Happywhale 是一个分享鲸类图画的大众科学渠道，其目标是解锁很多数据集、促进 photo ID 的快速匹配， 并为大众创造科研参与度。
Happywhale 官网地址：
happywhale.com/
Happywhale 成立于 2015 年 8 月，其联合创始人 Ted Cheeseman 是一位博物学家 (Naturalist)，他在加利福尼亚蒙特雷湾 (Monterrey Bay) 长大，从小就喜欢观鲸，曾多次前往南极洲和南乔治亚岛探险，具有 20 余年南极探险及极地旅游管理的经历。
Happywhale 联合创始人 Ted Cheeseman
2015 年，Ted 离开了工作 21 年的 Cheesemans’ Ecology Safaris（由 Ted 爸爸妈妈在 1980 年兴办的生态旅行社，Ted 爸爸妈妈同样是博物学家），投身 Happywhale 项目–搜集科研数据，进一步了解并维护鲸类。
短短几年内，Happywhale.com已经成为鲸类研讨领域的最大贡献者之一， 除鲸类辨认图画的数量巨大外，对了解鲸类的迁徙形式也提供了诸多洞见。
参考链接：
[1]baijiahao.baidu.com/s?id=170389…
[2]journals.plos.org/plosone/art…
[3]phys.org/news/2023-0…
[4]happywhale.com/about
本文首发于 HyperAI 超神经微信大众渠道~
