导读：在CVPR 2020上，为了更好的解决物体检测中的尺度问题，东升国际官网EIG算法中台团队沉新设计了经典的单阶段检测器的FPN^【1】以及HEAD结构，通过机关更具等变性的特点金子塔，以提高检测器应对尺度变动的鲁棒性，可以使单阶段检测器在coco上提升～4mAP，齐全代码已开源。

                    图 1 成效概览

动机

文章提出了一个针对物体拥有大尺度变动数据集的检测算法。工作的钻研动机在于：

1.     当前所有基于RetinaNet的单阶段检测器，都选取了共享权沉的分类HEAD以及回归HEAD在特点金字塔上滑动从而检测分歧大幼的物体，相应的最为适应这种结构的特点金子塔对于尺度变动该当拥有等变性。

2.     经典的底层特点提取算法如SIFT，其高斯金字塔拥有很好的尺度等变性，我们思虑了深度神经网络中特点金字塔与高斯金字塔的区别，从而提出了提高其等变性的算法。

关于高斯金字塔的等变性质，能够结合下面一个示例为各人展示这种性质：

  图 2            图3

    ：对羊嘴边缘拥有高相应的特点提取算子 ：带dilation的羊嘴边缘提取算子

图2图3中，一张图中有两只尺度比例或许为2的羊，有一个能够检测羊嘴的特点提取器，但是其仅能对尺度较幼的羊的羊嘴拥有较高的响应，那么对于尺度较大的羊我们应该若何处置呢？

1.     如图2，能够用一个高斯卷积核去除高频后降采样一次，使得大羊的羊嘴特点跟幼羊在统一尺度，从而在降采样的图上进行大羊羊嘴的检测。

2.     如图3，能够用一个高斯卷积核去除高频后，将特点提取算子变为变为浮泛卷积，亦能够进行大羊的羊嘴检测。

这两种步骤不仅切合直觉，其在数字信号处置理论中有较为美满的理论论证，在此不再赘述。

回顾单阶段检测器（如RetinaNet），

 图 4 retinanet结构

其共享权沉的HEAD(Subnet)设计其实已经将特点金字塔中的特点当作了高斯金字塔，即如果特点金子塔也有上述尺度等变性质。但是现实使用中，我们时时观察到分歧尺度的物体相互竞争,使得检测器在分歧尺度的机能此高彼低的景象，这些情况不太切合尺度等变个性，这是为什么呢？

分析

相比高斯金字塔，从backbone的分歧stage抽取特点图组成的的特点金字塔其实失去了严格的等变性。

1      相迸宗图像处置中low level的特点，深度神经网络提取的特点往往经过足够多基础特点的组合，其特点往往有更为复杂的高级语义，并且由于我们用一样的backbone进行特点的提取分歧尺度的物体的特点会有相互竞争的景象。

2      深度神经网络中，由于足够多的卷积与非线性激活单元，其分歧stage感触野的变动在特点图的分歧地位拥有不一致的景象，使得金子塔的两层间很难有高斯金字塔一样，分歧大幼物体的特点在downsample一次，或者增大特点提取算子的dilation这样的处置后拥有一致性。

关于分歧尺度物体的竞争：

                                                      图 5

物体检测中，我们必要特点图同时拥有较高的语义信息实现分类，又必要较好的保留原图信息用于定位，单一尺度的物体，在backbone中的分歧stage能够提取出分歧级此外语义，但是在处置另一尺度的物体时，则会出现不匹配的景象，如幼物体用到的特点提取算子可能只是大物体提取低级特点算子，从而很难提取高级语义进行分类，这也启发了后来的FPN的Top-down结构，以及后续的一系列feature fusing的结构。

网络设计

若何改进特点金子塔使其拥有更好的等变性质呢？

我们发现，在特点金子塔的某一层为基准，其与高低两层间拥有更好的有关性，直觉上能够揣摩其底部一层往往保留有更多的定位有关的信息，更高层往往拥有更好的分类有关的信息，而以往的feature fusing的步骤都遗漏了这种空间尺度（特点金子塔层间）的有关性。

                   图 6  FPN分歧层间的有关性

       无论是大局上的分析还是尝试发现的这种有关性暗示我们尺度空间上的确有值得提取的特点，我们但愿通过在尺度空间上进行卷积来提取这种特点。

       思考到FPN的分歧层的分辨率分歧，我们由此提出金字塔卷积（Pconv）的结构。

       特点金字塔相邻三层（P3,P4,P5）举例，在P3上利用stride为2的conv进行卷积，在P4上利用通常conv卷积，P5上通常conv卷积而后upsample，得到一样大幼的特点图而表态加，不难推导，其等效于在特点图上每一点在HW维度卷积后再在尺度空间（P3，P4，P5）进行一次卷积，因而其相当于一个3-D的卷积核。

 图 7 尺度空间卷积（Pconv） 示意图

既然有了尺度空间的卷积，我们天然的想到了空间尺度共享所有参数的批归一化（iBN），我们每一次Pconv后，我们将所有层衔接在一路，共同更新统计量，这一设计较NAS-FPN^【2】中使用的各尺杜酌各自的BN参数拥有更优的机能且更易工程化（如推理时去除BN）。

图 8   iBN 示意图

       另一方面，高斯金子塔中特点相邻层降采样时有其相匹配的高斯吞吐核，太大的吞吐核会去除过多有效信息，太幼的吞吐核引入高频噪声。但是特点金字塔中相邻层之间距离分歧的卷积核与大量的非线性单元，这使得特点图上分歧地位相邻层之间没有一个固定的理论高斯吞吐核。因而我们由此基于以上提出的Pconv又将其改进为尺度等化的尺度空间卷积（SEPC）？椋旱背叨瓤占渚砘嗽诔叨瓤占渖匣，最底层上用通常的3X3卷积，当一样的卷积核滑向高层特点图时用可变形卷积（Dconv）^【3】实现像在高斯金字塔中一样的高层特点点与最底层的对齐。同使剽个设计中可变形卷积只在高层特点图上选取，其引入的额表的Dconv的推算量开销以及推理速度损失其实是很幼的。

图 9 SEPC 示意图

尝试了局

       我们做了详尽的消融尝试，以确保我们每个？榈挠行.我们拔取了FSAF^【4】，RetinaNet，FreeAnchor^【5】三个有代表性的model验证东升国际官网有效性。

       能够看到，我们提出的？樵谌鰉odel上均有不变的提升，并且机能提升相比flops与forward速度的增长极具性价比，值妥贴心的是，固然我们使用了Dconv，但是机能的提升不仅仅是Dconv带来的，相比head结构全数更换为Dconv，东升国际官网SEPC在速杜纂机能上都体现出了绝对的优势。

同时我们拔取了FreeAnchor为基础与当前SOTA检测器进行了比力。

       我们SEPC在mAP45左右的baseline上依然有靠近3mAP的提升，我们在甚至在单尺度测试的前提下得到了一个mAP为50.1的单阶段检测器。

传送门

代码目前也已经开源，欢迎各位同学使用和互换。

论文地址： https://arxiv.org/pdf/2005.03101.pdf

代码地址： https://github.com/jshilong/SEPC

References

[1] Tsung-Yi Lin, Piotr Dollar, Ross Girshick, Kaiming He, Bharath Hariharan, and Serge Belongie. Feature pyramid networks for object detection. In CVPR, 2017.

[2]Golnaz Ghiasi, Tsung-Yi Lin, and Quoc V Le. Nas-fpn: Learning scalable feature pyramid architecture for object detection. In CVPR, 2019.

[3] Jifeng Dai, Haozhi Qi, Yuwen Xiong, Yi Li, Guodong Zhang, Han Hu, and Yichen Wei. Deformable convolutional networks. In ICCV, 2017.

[4] Chenchen Zhu, Yihui He, and Marios Savvides. Feature selective anchor-free module for single-shot object detection. In CVPR, 2019.

[5] Xiaosong Zhang, Fang Wan, Chang Liu, Rongrong Ji, and Qixiang Ye. FreeAnchor: Learning to match anchors for visual object detection. In NIPS, 2019.