导读：在CVPR 2020 上，东升国际官网身份认证团队初次提出了用于低比特人脸鉴别模型量化训练的旋转一致的余量损失函数（Rotation Consistent Margin Loss， RCM）？肆臣鹎鹩谕ǔ９丶掷喙ぷ，属于怀抱进建领域，然而鲜有针对开集人脸识此外量化钻研。该工作针对低比特人脸鉴别模型的量化，在特点空间沉新界说了量化误差，并分析了量化误差对特点散布的影响，最终提出了旋转一致的余量损失函数。在多幼我脸测试集上达到了SOTA了局。

动机

近年来深度卷积神经网络的出现极大地提升了人脸鉴别精度，推进人脸识此外大规模利用，如安防布控、人证比对、楼宇门禁、手机解锁等场景。然而过大的存储开销和推理功夫，限度了复杂模型在端侧设备的部署。量化技术是解决该问题的有效步骤之一。其主题思想是用低比特（如4bit）位宽暗示网络权沉(weights)和激活值(activations)，从而同时降低存储和加快推理。然而将全精度的陆续值映射为低比特暗示的离散值的量化过程会引入量化误差。有很多关于缩幼量化误差的步骤被提出，然而都集中在通常关集分类工作或指标检测工作？肆臣，属于怀抱进建的领域，理论上必要将一样ID的人映射到特点空间中的统一点，分歧ID的人尽可能远离，其对量化误差更为敏感，量化造成的精度损失也更为严沉。在图1中，（a）直观的展示了开关集的量化过程
；（b）定量对比了量化前后精度的变动
；（c）对比了量化前后正对（ID一样的 分歧照片）在特点空间中的夹角。

步骤

针对上文所述开集人脸鉴别量化面对的挑战，本工作提出了用于低比特人脸鉴别模型量化训练的旋转一致的余量损失函数。

随着SphereFace、CosFace、ArcFace等工作的提出，人脸特点被以为散布于半径固定的超球表表，特点模长不再对鉴别产生影响。类似性怀抱也从l2距离转换为余弦类似度
；诖，本文将人脸鉴别模型的量化误差界说为全精度模型特点与对应量化模型输出特点之间的夹角，即

基于上述界说，本工作对量化误差进行了分析。我们使用ArcFace在CASIA-WebFace上训练了ResNet18，并别离量化至8、6和4bit。为了预防批改模型权沉，此处选取的是post-training 量化方式。

基于上述尝试，我们得到三个沉要观察。

观察一：随着位宽的降低，类中心的量化误差急剧增大（如图2（a）所示）。此处，类中心界说为统一类中所有图像特点的均值。

分析一：较大的类中心误差注明个别的量化误差并非随机，而是朝着统一方向旋转，最终导致整个类的偏移。在MobileNetV2和VGG上进行了沉复试验，以排除模型结构的影响。我们将类中心量化误差记为类误差（class error）。

观察二：量化前后，类间夹角均维持在90°（如图2（b）所示）。

分析二：不变的类间散布注明量化误差并不减弱类间可分性。
 

观察三：量化后，类内散度增大，且位宽越幼，散度越大（如图2（c）所示）。

分析三：类内散度的增长注明量化误差减弱了类内紧凑性。

基于上述分析与观察，本工作提出将一张图像的量化误差分化为类误差和个别误差，

以前的步骤要么忽略量化误差——直接基于原有损失函数进行监督训练，要么尝试解除整个量化误差。一个天然的疑难是：提高量化模型精度等价于削减量化误差吗？基于上述分析，我们以为至少对于人脸鉴别工作，这种如果是不成立的。首先，固然类误差的数值较大，但它暗示类整体的移动，且量化后的类间可分性并未减弱。而个别误差则严沉侵害了类间紧凑性，是造成精度降低的重要原因。若是粗鲁地尝试直接解除整个量化误差，则来自于类误差的监督会导致量化模型越发关注于将类整体移向全精度时的地位，而非沉建类内紧凑性。

因而，本工作将个别误差作为余量（margin）引入原有人脸鉴别损失函数，提出旋转一致的余量损失函数（Rotation Consistent Margin Loss）

齐全的训练流程如图所示：

尝试了局

本步骤在多幼我脸测试集上获得了SOTA的了局。此表，本步骤能够和其他量化步骤相结合，进一步提升机能。

在LFW和YTF上的尝试了局

在Megaface上的尝试了局

在IJB-C上的尝试了局

与其他量化步骤的兼容性