• 借助分而治之的理念,文章进一步提出了一种改进的I-Net,称为DC-I-Net,它做出了两个新的贡献:

    在著名的面向图像级搜索的基准数据集上的大量实验表明,所提出的DC-I-Net优于最新的tasks-integrated和tasks-separated的图像搜索模型。

    2、本文方法

    【检测+检索】一个模型让你不仅看得见也可以找得到,集检测与检索与一身的作品-LMLPHP这篇论文是I-Net的一个实质性扩展,在网络架构和损失函数方面做出了以下新贡献:

    2.1、I-Net

    为了实现更好的图像搜索任务,I-Net(Siamese I-Net)将行人检测和行人重识别设计为端到端(End-to-End)的框架,如下图:【检测+检索】一个模型让你不仅看得见也可以找得到,集检测与检索与一身的作品-LMLPHP对于每一次迭代,包含相同身份id的图像对将被输入到Siamese I-Net中。利用骨干网络进行初步特征的提取。然后,通过两个RPN结构得到候选区域。再然后将这些候选区域特征输入到ROIPooling中并输出的特征图,最后是两个全连接层分别用于检测任务和检索检索(即ReID)任务。同时该结构的提出的同时也提出了两个损失函数,即OLP Loss和HEPLoss,用于学习与ReID相关的有效特征。

    通过两个RPN生成的候选区域,ROI池化层被集成到I-Net中。然后,两个Stream汇集的特征被输入到有4096个神经元的两个FC中。为了消除行人候选区域的假阳性使用二值交叉熵损失区分训练。(注意,对于一般的图像搜索任务都会使用softmax分类器来进行目标检测);除此之外L1损失用来约束候选框的位置,同时会有一对256-D的特征用通过OLP Loss和HEP Loss来训练ReID Branch的模型。

    2.2、On-line Pairing Loss (OLP Loss)

    设计OLP损失函数主要从以下几个角度考虑的:

    OLP Loss的设计形式如下:

    OLP损失可以按照如下步骤进行复现:

    2.3、Hard Example Priority Loss (HEP Loss)

    OLP损失函数使正样本对的余弦距离更小,负样本对的余弦距离更大,这并不能直接对损失函数中的id标签进行回归。另外,传统的基于softmax的分类器交叉损失训练方法没有考虑样本在数据中的难易程度。基于上述考虑,提出了HEP Loss,目的是回归具有高优先级的身份标签。

    在图4中,Hard Example的选择如下:

    最后,利用传统的基于softmax的交叉熵损失和选择的优先级类,将提出的HEP损失函数表示为:

    其中, 表示分类器给出的第i个proposal的分数,j表示第j个类。在损失函数中,只使用选定的类别进行损失计算,进而使得损失函数集中在硬类别上。

    2.4、Overall Loss of I-Net

    I-Net是一种将检测和重识别结合起来进行训练的端到端模型。因此损失由两部分组成:检测损失( )和重识别损失( ),表示如下:

    2.5、DC-I-NET

    相较于I-Net,DC-I-NET:

    损失函数定义如下:

    DC-I-Net总损失为:

    3、实验结果

    更为详细内容可以参见论文中的描述。

    References

    [1] Tasks Integrated Networks: Joint Detection and Retrieval for Image Search

    声明:转载请说明出处

    扫描下方二维码关注【AI人工智能初学者】公众号,获取更多实践项目源码和论文解读,非常期待你我的相遇,让我们以梦为马,砥砺前行!!!

    【检测+检索】一个模型让你不仅看得见也可以找得到,集检测与检索与一身的作品-LMLPHP点“在看”给我一朵小黄花呗【检测+检索】一个模型让你不仅看得见也可以找得到,集检测与检索与一身的作品-LMLPHP

    本文分享自微信公众号 - AI人工智能初学者(ChaucerG)。
    如有侵权,请联系 support@oschina.cn 删除。
    本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

    09-13 22:48