1. 基础？

基础？椋˙ase Module）旨在处置经过双流网络提取好的视频特点序列，用于进行时序关系的初步建模。同时该？榈氖涑霰鹄胱魑笮礁龇种У氖淙。具体来说，该？橹匾闪讲愦 ReLU 激活函数的 1D 卷积组成，卷积核大幼为 3，数量为 256，且步长为 1。由于输入视频的长度不一，我们将输入视频截断为一系列固定长度的滑动窗口。

2. 互补天堑天生器

互补天堑天生器（Complementary Boundary Generator）重要源于受到 U-Net[3] 结构利用在医学图像宰割上的启发，我们以为对于时序天堑天生这种密集预测（dense prediction）的工作同样能够通过一维的编码-解码器结构进行高层级全局时序信息和低层级部门时序信息的建模。如下图所示，左下部门中的每个圆圈别离代表一个带有 512 个卷积核且核大幼为3的一维时序卷积层，并别离接着一个批归一化层（BN）和 ReLU 激活函数。为了减幼过拟合的景象，我们只增长了两层下采样层来增大时序的感触野，并接着选取同样数量的上采样层来复原到原始的时序分辨率。此表，为了加快网络的收敛速度，额表在中央层施加了监督信号（deep supervision）（该操作对于后续的模型剪枝同样有援手）。同时，通过跳层衔接来缩幼编码器和解码器之间的语义天堑。值得一提的是，我们发显祓始天堑分类器和实现天堑分类器之间存在天然的互补性。即当视频经过反向输入到网络时，肇始天堑分类器（从布景到远景）能够看作是一个伪实现天堑分类器（早年景到布景）。因而，很天然地想到利用双向的模型预测了局进行融合：

为了在训练过程中加强模型对于天堑的鲁棒性，我们实现了并行的编解码优化过程，并在两侧的中央层输出额表施加了一致性约束，尝试发现该战术能够显著提升最终的天堑预测精度，抑造了天堑噪声的出现。最终，将获得的两个天堑概率序列构建成一张天堑图（boundary map），用于表征所有密集散布提名的天堑信息，其中T和D别离代表特点序列的长度和提名的最大持续功夫：

3. 提名关系建模？

提名关系建模？椋╬roposal relation block）的主张是为了高效地评估密集散布候选提名的相信度分数。BMN[2] 提出了天堑匹配（boundary-matching）机造来实现一次性为所有候选提名进行相信度评估。然而，只管 BMN 在天生的提名特点图上选取了 3x3 的 2D 卷积进行部门的提名关系建模，但这显然不及以挖掘类似作为提名之间的关系（尤其是真值 IoU 一样但作为种类/持续长度分歧的作为提名），使得提名的评估过程依然相对独立。只是为 BSN 的提名评估？樘峁┝烁咝У难盗贩绞，并没有从性质上解决提名评估问题。针对该问题，BSN++ 设计了一个提名关系建模？槔幢鹄氪犹崦匚徊忝妫ǖ匚桓兄盐攘δ？椋┖屯繁碚鞑忝妫ㄍ犯兄盐攘δ？椋┙辛肆礁龇制缥鹊慕换バ畔⒔，具体过程如下图所示。最终，三个子分支别离进行监督训练和测试了局融合，从而达到最佳的相信度图预测质量（其中，相信度图中像素点 (i,j) 代表一个肇始点为，持续功夫为的候选提名对应的相信度分数）。

4. 两阶段沉采样

长尾数据集中的数据不平衡问题能够严沉影响到模型的训练精度和泛化机能。本文回首了数据集中的正负样本分布以及作为持续长度的散布情况，并针对性的设计了用于提名相信度预测的沉采样战术，旨在提升在长尾数据集中的模型训练阐发。具体来说，BSN++设计了两阶段的采样战术，不仅针对训练过程中提名的正负样本数量进行平衡，同时思考了对正样本提名中提名的时序长度进行二次平衡。

基于 IoU 平衡的采样战术。如文章开头的数据散布示意图能够观察到，正负样本的批损失散布存在较大的差距，这种景象无疑会导致严沉的训练模型误差。先前的工作通常设计了一个正负样本的采样器来平衡分歧 IoU 区间的样本。然而，我们发现正负样本的持续功夫同样不遵循通例的均匀散布。因而，有必要思考持续对作为提名的长度进一步平衡。

尺度平衡沉采样。为了缓解长尾尺度的问题，我们在IoU平衡采样的基础上提出了一个正负样本尺度沉采样战术。具体来说，如果  为正样本提名中持续长度为  的数量，而  则为其占总提名数量的比例：

其中，为预先界说的归一化尺度领域（例如，[0-0.3, 0.3-0.7, 0.7-1.0]）。通过一个正样本比例采样函数，得到采样比例 ，且当幼于 λ（凭据经验设为 0.15）时，该采样比例将大于原始采样比例。因而，我们将更新后的归一化采样比例作为某个特定提名长度区间的采样概率，并以此为基准构建批数据进行模型训练。至于负样本，选取一样的采样过程。

1. 时序作为提名天生

我们首先在 ActivityNet-1.3 上评估了 BSN++ 天生的时序作为提名质量，如下表所示。BSN++ 相迸宗之前的步骤获得了更高的 AUC 指标，尤其在 AR@1 和 AR@100 指标上（Top-1/Top-100候选提名下的均匀召回）相迸宗 BSN 提升最为显著？杉，BSN++ 在保障高召回的前提下也提升了候选提名的整体检索质量。

接着在 THUMOS14 上对比评估了 BSN++ 在分歧输入特点下的作为提名质量，如下表所示？杉，BSN++ 对于分歧的数据集和分歧的特点提取器都拥有很好的鲁棒性。

同时，鄙人表中还对 BSN++ 的各个？榻辛司咛宓姆纸獬⑹，充分验证各个？榈挠行院突ゲ剐。并且从评估了局中我们能够总结出以下几点结论：

(1) 编码-解码器结构同样能够对一维时序信息进杏装部门到全局”的充分建模，从而相迸宗之前只依赖于部门信息的步骤有更正确的天堑预测了局
；

(2) 双向匹配机造进一步验证了将来信息对于天堑调整决策的沉要性
；

(3) 与先前步骤独立评估提名分歧，BSN++ 选取的提名关系建模？槟芄惶峁└娴奶氐阌糜诜直婧推拦雷魑崦
；

(4) 尺度平衡的沉采样战术能够使得模型达到平衡优化的主张
；

(5) 通过将各个？榧傻揭桓龆说蕉说目蚣，BSN++ 能够获得有竞争力的了局提升
；

(6) 同时，BSN++ 保障了总体的效能优势。

2. 时序作为检测

与两阶段图像指标检测类似，我们以为时序作为提名的质量会直接影响到时序作为检测的机能。因而，我们将BSN++ 天生的时序作为提名了局直接赋予现有视频分类器的分类标签，即可得到最终的时序作为检测了局，并用于评估模型的检测精度（mAP）。我们别离在 ActivityNet-1.3 和 THUMOS14 数据集上进行了尝试，了局别离如下表所示？杉，BSN++ 在检测精度上显著提升了现有算法的水平。

最后，我们别离在两个数据集上随机遴选了两个视频样例及其模型预测了局进行可视化，如下图所示。其中第一行为 THUMOS14 中的视频，第二行为 ActivityNet-1.3 数据集中的视频。

本文的重要贡献在于针对现有 BSN 系列的步骤存在的几点问题进行了针对性的解决，并提出了进阶版本 BSN++。通过互补天堑匹配融合的步骤实现高精度的天堑预测。同时，着沉解决了现有步骤忽略的密集散布提名关系建模和尺度不平衡等问题，显著提升了对于密集散布候选提名的相信度评估质量。尝试了局批注，BSN++ 在主流数据集上的算法机能和效能上均获得了一致的提升。