导读：在CVPR 2020上，东升国际官网智慧交通产品线团队提出的自纠正自适应膨胀率计数网络，针对计数工作中点标注地位不一致和透视景象造成巨大的尺度变动的问题提出了有效的网络设计和监督步骤。在监督方式方面，ADSCNet利用网络进建的了局来纠正不一致的人为标注从而更有效的训练；在网络设计方面，ADSCNet提出自适应膨胀率的卷积结构，分歧地位选取分歧的膨胀率来适应尺度的变动。ADSCNet在四个公开数据集上均有显著的提升。

论文名称: Adaptive Dilated Network with Self-Correction Supervision for Counting

问题和挑战

指标计数作为推算机视觉的一个沉要方向。在工业界有着宽泛的利用，例如交通场景下的拥挤判断，视频监督下的流量统计以及地铁中的人流分析等。近年来，使用卷积神经网络（CNN）的步骤获得了显著的进展。但是，这项工作依然拥有挑战：

a. 由于密集的场景，对于指标多选取点标注的方式，这就带来标注地位不一致的问题，如下图(a)的黄点，点的地位可能在嘴上，眼睛，耳朵等。那么到底哪里才是更有利于网络进建的地位呢？

b. 如下图(b)在监控的密集的场景下，不只在分歧的场景中指标的尺度差距大，并且在统一张图中也有由于透视景象造成指标会有巨大的尺度变动。

步骤介绍

针对以上提出的问题，我们提出了一个新鲜的计数框架，如下图所示。它由自适应膨胀卷积网络和自校对监督组成。在这一部门，我们首先会从高斯混合模型（GMM）的角度理解传统的指标密度图，而后我们将介绍若何利用一衷熠望最大化(EM)的方式进行自纠正更新标签，最后将介绍自适应膨胀率卷积的网络结构和实现细节。

1.    自纠正的监督方式

动机：随着模型的训练的进行，不一致的点标注会影响网络进建的上限。通过观察发现进建一按功夫以来，网络预测的密度在响应地位一致性上好于人为标注。所以我们但愿通过利用网络的预测来纠正标注的地位，从而得到更一致同时更有利于网络进建的密度图标签。

步骤：

将高斯密度图看作一个高斯混合模型(GMM):

其中D暗示高斯密度图，K暗示指标个数，x暗示图中的地位

这里能够用人为标注的点作为均值，固定值为方差，天生高斯混合模型的初始散布，而网络预测的密度图能够近似看作网络凭据图像特点预测的一个指标散布。东升国际官网步骤就是利用网络预测来以一种类似进展值最大化（EM）的方式更新高斯混合模型从而得到适合的标签。

具体方式如下：

E步骤：

我们使用后验概率来评估第地位和第高斯散布的“责任”。

而后用模型预测的密度图纠正“责任”。

M步骤：

沉新估计高斯混合模型的参数

其中X暗示地位矩阵随着E和M交替执行，我们会得到更一致响应的标签。在更新的过程，由于已知每个指标对于整体的散布是一样的，所以对于沉新估计的权沉系数π我们会固定为1/K.

自纠正损失函数：

提出的自纠正损失函数蕴含两个部门，一个部门是直接全图和纠正后密度图比力L1距离，这部门关注整图数量上的误差，第二部门为权沉系数的监督，重要关注个别，保障对于整体的贡献一致

总体而言，提出的自纠正监督拥有很多梦想的属性。 首先，它可能容忍标注误差。 动态更新指标密度图能够纠正某些标签的误差，以援手模型进建到一致的特点表白。 其次，对于方差的变动是鲁棒的。 能够凭据图像特搜索纳迭代调整方差以适应响应区域。 第三，它对象数量的变动很敏感。 混合系数的颠簸有效地反映了漏检和误检。 下面展示了密度图估计中的四种常见情况（抖动，方差增长和高斯核的变动）自纠正的对比。

2.    自适应膨胀率网络结构

我们从两个角度设计了自适应膨胀卷积

1)      从尺度变动方面，我们使用陆续的感触野也来匹配陆续的尺度变动。

2)      为了进建空间感知，分歧的地位回选取分歧的膨胀率来进行采样。

下图为东升国际官网自适应膨胀卷积的过程：

步骤1：以一样特点为输入，通过尺度3×3卷积层得到一张与原图一样大幼的单通路的膨胀率图。出格地，我们增长了一个ReLU层来保障膨胀率图上值都为非负数。

步骤2：对特点进行自适应感触野的采样，分歧地位的采样网格大幼为膨胀率图对应地位的值，这个值可能会是幼数，这里我们选取了双线性插值进行采样

步骤3：对采样值进行加权求和得到新的特点

东升国际官网自适应膨胀率卷积不必要额表的尺度标签，只必要最后的密度标签就能够让网络自己进建适应分歧尺度的指标。同时相比力形变卷积[1]，东升国际官网采样网格中是齐全对称的，采样的特点不会有相对指标地位上的误差，和最终指标的地位有更好的一致性，越发适计算数这种地位敏感性的工作。

尝试了局

下图为可视成效的对比，能够看出，ADSCNet相比力传统的监督预测的密度图重要有两方面的优势：1.分歧指标更一致的响应强度 2.分歧指标响应的地位越发一致。响应点重要集中头部的左上角概括处，讲了然相对于人为标注的眼睛，鼻子等，头部概括是相对更不容易遮挡，更适计算数工作的特点点。通过下图第四列能够看到整体上大的指标必要更大感触野，一些有语义的布景指标也必要更大的感触野去分辨。

同时我们也进行消融尝试的对比，首先我尝试了有效的数据增长方式，参与BN和增大batchsize来确立新的Baseline。我们这里复现了CSRNet[2]和MCNN[3]作为Baseline步骤进行比力，如下图首先是自纠正监督的成效。自适应监督在三个baseline上获得了一致的提升。 他们相对的MAE提升别离为6.19％，8.57％，8.72％。

而自适应膨胀卷积方面，我对比了分歧的固定膨胀率和多列网络组合以及形变卷积的成效。相比力固定的膨胀率，我们只增长了有限的运算，却获得了显著的提升。

最后和当前SOTA的对比，ADSCNet在四个公开数据集获得更优的阐发，并有着显著的提升，讲了然我们步骤的有效性。

结语

在本文中，我们为计数问题提出了一种新鲜的监督进建框架。它利用模型估计来迭代地纠正GT，并提出自纠正损失函数同时监督整体的数量和个别的散布。同使剽种步骤能够利用到所有基于CNN的步骤中。另一方面，我们提出了自适应膨胀卷积，它通过每个地位的动态地进建分歧的膨胀率以适应指标巨大的尺度变动。在四个数据集上进行的尝试批注，它能够显著提升计数网络的机能。 同时也说了然利用模型从图像特点上进建的信息可能被用于纠正标注来提升机能。

References

[1] Dai, Jifeng, et al. Deformable convolutional networks. In ICCV, 2017.

[2] Li, Yuhong, Xiaofan Zhang, and Deming Chen. Csrnet: Dilated convolutional neural networks for understanding the highly congested scenes. In CVPR, 2018.

[3] Zhang, Yingying, et al. Single-image crowd counting via multi-column convolutional neural network. In CVPR, 2