敞开成长之旅！这是我参加「日新计划 12 月更文应战」的第29天，点击查看活动详情

论文–[1] H Park, Lee S , Lee J , et al. Learning by Aligning: Visible-Infrared Person Re-identification using Cross-Modal Correspondences[J]. ICCV, 2021.

摘要

可见-红外行人重辨认(VI-reID)的两个主要应战是人物图画的内部变化，以及可见光和红外图画之间的跨模态差异。假设人的图画是大致对齐的，以前的办法试图学习粗糙的图画或严格的部分层面的行人表征，这些表征在不同的形式中具有辨别性和泛化性。但是，通常被现成的物体检测器所裁剪的人的图画并不一定是对齐良好的，这就搅扰了有辨别性的行人表征学习。在本文中，咱们介绍了一个新的特征学习结构，以一致的方式解决这些问题。为此，咱们提出使用跨模态人物图画之间的密布对应。这答应在像素级解决跨模态差异，更有用地抑制行人表征中的模态相关特征。这也鼓舞了跨模态部分特征之间像素级的关联，进一步促进了VI-reID的辨别特征学习。

奉献

lRGB和IR图画的不对齐特征会对跨模态差异的处理产生晦气影响==提出了一种新的VIreID特征学习结构，该结构使用密布的跨模态对应，有用地缓解了多模态图画之间的差异，一起进一步增强了行人表征的辨认才能

引入身份一致性和密布三元组丢失来练习端到端网络，这有助于使用跨模态通信提取有区别的行人表示。

办法

首先从相应的行人图画中提取RGB和IR特征，然后将这些特征与CMAlign模块对齐。它在RGB和IR特征之间建立了密布的跨模态对应关系，并使用相应的匹配概率使这些特征彼此扭曲。请注意，只在练习时刻使用CMAlign模块，从而在测试时刻完成有用的推理。

为了练习结构，使用了三个阶段:ID (LID)、ID一致性(LIC)和密布三元组丢失(LDT)。

lID丢失分别适用于RGB或IR图画中的每个特征。它强制同一身份的人物图画具有相同的特征，一起为不同身份的图画供给不同的特征。

ID一致性和密布三元组阶段使用匹配概率，鼓舞来自同一身份的RGB和IR特征在像素级上彼此重建。

试验

基线：ResNet50

数据集：RegDB,,SYSU-MM01

Mini-batch:每个模态挑选8个身份，每个身份采样4张图画

成果：