返回- 主题技术
- 以原创技术系统为根基，SenseCore东升国际官网AI大装置为主题基座，布局多领域、多方向前沿钻研，
急剧买通AI在各个垂直场景中的利用，向行业赋能。
CVPR 2020 | HFE: 多层级的特点构建方式解读
导读：在CVPR 2020上，东升国际官网城市推算团队提出了一个针对属性分类的多档次特点的构建方式，即利用身份(ID)信息辅助构建多档次的特点，该工作为特点构建方式提供了新的思路。相迸宗已有的属性分类步骤，HFE在特点暗示和机能指标上均有显著优势。
动机
直接使用Cross Entropy Loss训练的卷积神经网络分类，只是把统一类的特点聚拢到一路，对于类内没有约束。我们在带有ID信息的属性数据集上进行尝试，只使用属性标签进行分类时，发现类内散布极度杂乱，统一个ID的图片会分散在类内的各个地位。这注明只使用属性标签训练的分类网络，无法正确的将 ID 一样的图片在特点空间上映射到足够近的距离，因而其特点表白不够不变，容易受参与景变动等成分的滋扰，在输入产生变动时，特点会产生比力大的偏移，增长了分类谬误的可能性。东升国际官网步骤在此处做出改进，使用ID和属性标签作为两个层级的监督，在特点空间里构建多层级的逻辑结构，以提高模型的表征能力。
该工作的钻研动机在于：
1. 利用身份信息来限度统一幼我的分歧场景、分歧角度、分歧姿势的样本特点荟萃地更缜密，使特点对于场景、角度、姿势等的变动更鲁棒。
2. 通过身份的限度，属于统一个ID的单一样本能够把正本难学的难题样本在特点空间上拉近，从而使难题样本更容易进建。
3. 利用身份的信息来机关档次性的属性特点空间，预防把两种特点单一地嵌入到统一特点空间，而是统一到属性的特点空间，使机关的特点空间更合理。
如下图所示：
步骤设计
我们提的步骤整体框架如下图，重要由一个骨干网络，加多个属性分支组成。共享的骨干网络用来进建所有属性的共同特点，而每个单独的属性分支用来进建各个属性各自的特点。
对于损失函数，首先我们沿用传统的步骤，选取交叉熵（Cross Entropy, CE）损失函数进行属性分类。
这里N代表图片样本个数，M代表属性个数，
代表第i个样本的第j个属性的标签，
代表对第i个样本第j个属性的预测概率。
在CE基础上结合我们设计的多档次特点损失函数，总的损失函数能够写成如下所示。这里w暗示权沉。
一. 多档次特点损失函数
多档次特点损失函数重要由两个三元组组成，一个是传统的类间三元组如下。
其中
暗示样本i的j属性的特点，称为锚样本。
暗示和锚样本
同属一个属性类别但离锚样本最远的正样本的特点。
暗示和锚样本
不属于统一个属性类别但离锚样本最近的负样本的特点。
暗示类间差额，
暗示样本i的身份，而d()暗示两个样本的距离。
为了形成细粒度的多档次的特点空间，我们利用身份信息构建类内三元组，如下。
这里
暗示和锚样本
同属于一个属性类别也同属于一个身份的离锚样本最远的正样本的特点。
暗示和锚样本
同属一个属性类别但不属于统一个身份的离锚样本最近的正样本的特点。
暗示类内差额。
结合上述的两个loss，我们能够同时守护类间和类内的特点空间。如下图所示，通过五元组的限度，我们能够守护一个多层级的相对距离，从而达到构建档次化的特点空间的主张。
二. 绝对天堑正则项
上述的损失函数固然能同时守护类间特点和类内特点，但是只思考了相对距离。从绝对距离角度上看，并不能保障在整个训练集中，锚样本和正样本的距离都幼于锚样本和负样本的距离。为此，我们设计了绝对天堑正则项（Absolute Boundary Regularization，ABR）如下：
因而东升国际官网多档次特点损失函数由上述三项组成。
三. 动态权沉
在训练初始的时辰得到的特点空间并不成靠，由于五元组的选择依赖于特点空间，若是一路头就用较大的权沉，可能会带来噪音。所以我们为上述损失函数设计了一个动态权沉，通过权沉动态增大，使特点空间慢慢地从原始的状态转向档次化的状态。
这里T暗示整个训练的迭代次数，而iter暗示当前的迭代次数。w0是一个预先设置好的常数。
尝试了局
本文使用了两个行人属性数据集：Market 1501[1]和Duke[2]，和一幼我脸属性数据集：CelebA[3]，进行了尝试。在三个数据集上的尝试了局批注，HFE比现有的最先进的步骤更具竞争力，如下表所示：
为了进一步分析各个组件的成效，我们在market 1501上做了详尽的对比尝试，如下表所示，能够看到每个部门都是有各自的提升成效的。
为了直观地观察特点空间的变动，我们对一个属性在分歧loss下的特点空间进行了可视化，如下图所示Ｄ芄豢吹，每增长一个组件，类内的特点都更缜密，而类间的特点距离更远，界限更清澈。并且HFE的确能够形成更细粒度的类内特点空间，同时让类内更紧凑，类间更清澈，满足东升国际官网预期。
下图为属性可视成效对比，能够看出，对于属性比力清澈可见时，三个步骤都能判断正确；而倒刳挡产生或图像吞吐时，CE和APR[4]出现谬误预测的概率较高，HFE却还是能预测正确。
传送门
论文地址：
https://arxiv.org/abs/2005.11576
欢迎感兴致的伴侣阅读和互换。
References
[1] Liang Zheng, Liyue Shen, Lu Tian, Shengjin Wang, Jing- dong Wang, and Qi Tian. Scalable person re-identification: A benchmark. In Proceedings of the IEEE international con- ference on computer vision, pages 1116–1124, 2015.
[2] ZhedongZheng,LiangZheng,andYiYang.Unlabeledsam- ples generated by gan improve the person re-identification baseline in vitro. In Proceedings of the IEEE International Conference on Computer Vision, pages 3754–3762, 2017.
[3] Ziwei Liu, Ping Luo, Xiaogang Wang, and Xiaoou Tang. Deep learning face attributes in the wild. In Proceedings of the IEEE international conference on computer vision, pages 3730–3738, 2015.
[4] Yutian Lin, Liang Zheng, Zhedong Zheng, Yu Wu, Zhi- lan Hu, Chenggang Yan, and Yi Yang. Improving person re-identification by attribute and identity learning. Pattern Recognition, 2019.
