本文重要介绍东升国际官网科技城市推算研发团队颁发在 CVPR 2021 上的工作，提出了一种基于时序高低文聚合的作为提名建改网络（TCANet）。现有步骤普遍不足一种精密且高效的时序依赖建模方式，并且没有对提名的天堑信息进行充分的利用，导致天生的天堑概率序列拥有部门/全局的噪声，从而使得提名的天堑质量欠安。尝试了局批注，TCANet 在 HACS, ActivityNet-1.3 和 THUMOS14 等三个主流公开数据集上都获得了极度显著的机能提升
；诟貌街，我们在 CVPR 2020-HACS 挑战赛中的时序作为检测工作榜单上排名第一。

Part 1 工作布景

时序作为提名天生旨在从一段未建剪的长视频傍边天生蕴含可能存在人类作为的视频片段，其结合具体的作为类别标签即组成时序作为检测工作。目前的步骤大多致力于天生矫捷正确的时序天堑与靠得住的提名相信度，但是依然受限于匮乏的视频时序依赖和作为天堑建模，导致了充斥噪声的候选提名天堑和质量欠佳的相信度分数。

目前主流的时序作为提名天生步骤重要分为两步，首先对输入的视频特点序列进行单一的时序信息融合，而后使用基于天堑预测的步骤或者是基于预约义锚点框回归的步骤天生可能蕴含人体作为的大量候选时序提名。

Part 2 步骤介绍

本文提出了一个用于时序作为提名建改的端到端框架。该步骤重要针对现有主流时序作为提名天生步骤中的两步骤别离进行改进：

1. 在第一步中，现有步骤大多使用堆叠的1D时序卷积进行单一的时序信息融合，然而，1D卷积在推算分歧时序点之间的地位关系时，受限于卷积核的状态和尺寸，固然能够较好地建模短期的时序依赖，但是对于矫捷多变的高低文关系则瞠乎其后。部门法子选择了全局融合的方式实现了对全局特点的捕获，但是直接使用全局池化之后的特点拼接到整个视频特点序列上的每一个时刻地位，导致每一个时刻获得的全局信息都是一样的，由此捕获的时序依赖关系相对固定，不足多样性和分辨度，无法充分建模多样的长时序依赖关系。

2. 在第二步中，基于预约义锚点框回归的步骤能够提供基于提名全局特点的靠得住相信度分数，然而直接使用提名的全局特点对于其部门天堑的正确地位不够敏感，何况预约义尺度和比例的提名时序长度往往极度受限，不够矫捷，无法天生肆意长度的候选提名
；谔烨翟げ獾牟街枥锰烨档牟棵盘氐闩卸弦桓龉Ψ虻闶欠袷粲谧魑烨，对作为的起止边缘比力敏感，并且使用天堑匹配机造来天生大量矫捷的作为提名，获得较高的召回率。由于不足客观的提名特点，其相信度不够靠得住，导致其正确率较低。

该步骤重要针对现有技术的缺点进行了相应的改进：

1. 针对时序建模不够充分的问题，对各个时序点的特搜索纳通路分组战术进行高效建模，以多头自把稳力的方式同时对时序上的每一个点别离求取部门和全局的多样化时序依赖关系。

2. 为了提高天堑特点的利用效能，利用基于天堑预测的步骤和基于预约义锚点框回归的步骤二者之间的互补个性，提出使用提名的肇始和实现天堑高低文特点来预测待优化提名的肇始点和实现点偏移，同时使用提名的全局特点来预测待优化提名的中心地位和时序长度偏移。对这两种方式得到的回归后的提名进行均匀融合，得到越发正确的提名天堑。

3. 为了端到端的进行两种回归方式的结合优化从而逐步地提高提名的天堑质量，选取级联的方式对输入的候选提名进行多阶段的建改，通过由粗到细的正负样本划分方式，将输入的待优化提名顺次通过三个级联的提名优化？，尝试批注每一个提名优化？槎寄芄恢鸩降靥岣咛崦奶烨抵柿。

本技术规划的主张在于设计一个可能同时捕获部门和全局高低文信息的时序作为提名优化模型。整个框架重要解决了两个重要的子工作：基于部门全局的鲁棒且多样化的时序依赖建模和对候选提名由粗到细的多阶段建改。整体框架流程如下图所示。

本规划重要蕴含以下2个？椋

1、部门-全局时序特点编码器 (LGTE)

该？橹匾糜诙允淙氲氖毙蛱氐阃苯胁棵藕腿值氖毙蛞览倒叵挡痘。该？榈闹魈馑枷胧，首先对输入的时序特点对通路维度别离进行三次分歧的线性变换之后，沿通路方向分成 8 个组，其中4组特点用来对每一时刻地位进行全局的时序自把稳力建模（GTE），相当因而对全局时序特点别离进行一次动态的关系编码，而后剩下的四组特点则用来对每一时刻地位进行部门的时序自把稳力编码（LTE），主张是建模每个时刻的周围特点关系，捕获部门轻微的时序变动。

通过上述步骤，部门-全局特点编码器实现了对部门和全局特点依赖关系的并行推算，经过训练优化之后能够天生鲁棒而多样化的时序特点表白用于后续的提名天生和优化网络。

2、互补时序天堑回归器(TBR)

该？榈闹匾髡攀俏私岷匣谠ぴ家蹇蚧毓楹突诓棵判畔⒌钠鹬固烨档阍げ獾攘街痔崦焐婊挠疟锥，得到既能正确定位天堑，又能天生靠得住相信度得分的提名天堑回归器。

具体来说，如？橥妓，在将提名从经过部门-全局时序编码后的原长特点序列上进行采样之后，进一步将一个提名的时序特点分成三个部门，别离为肇始点的部门特点，提名的中心特点以及实现点的部门特点。和被用来回归待优化提名的肇始点和实现点的偏移量，,和则用于结合回归提名的中心点和提名长度的偏移量。使用上述两种规划都能够得到一个新的提名天堑，最后将新的提名天堑进行融合，即可得到最终的提名了局和相信度分数。

由于 TCANet 不必要大量时序提名即可实现高效的训练，因而在训练过程中对特点的采样能够直接在输入的原始视频特点上进行，这种采样方式相迸宗在统一的尺度上进行采样，能够带来更少的量化特点损失，从而有效提高特点的质量。

Part 3 模型训练

1、用于训练的待优化提名选择

在本步骤的训练阶段，不使用其他步骤（例如 BMN 等）输出的全数候选提名用于训练，为了提高训练效能，首先使用 Soft-NMS 去除大量冗余的时序提名，最后选择相信度分数在 Top-100 的提名用于优化器训练。

2、训练标签分配

在训练 TBR 的过程中，只有和真值的 IoU 大于肯定阈值的提名被界说为正样本，与真值的 IoU 幼于肯定阈值的提名则被界说为负样本，而位于两个阈值之间的提名被界说为不齐全样本。在训练的过程中，通过在线的随机采样保障这三种样本之间的数量比例为 1:1:1，实现训练过程中正负样本的平衡。由于在多阶段训练过程中，为了实现由粗到细的天堑优化，提升模型收敛的效能，选取了分歧的正负样本划分阈值。

3、损失函数

本规划必要对提名的相信度预测和天堑回归的偏移量同时进行监督，将这两部门的损失函数别离界说为和，别离为：

其中：

最后，总的损失函数为：

Part 6 尝试了局

在 HACS 数据集上，我们以复现的 BMN 步骤作为基准，尝试了局批注，TCANet 能够比 BMN 提高至少 4 个点的均匀 mAP，仅靠单模型就能够超过 CVPR 2020-HACS 榜单的第二名规划。

在 ActivityNet-v1.3 和 THUMOS14 数据集上也都有显著的成效提升，获得了现阶段最佳的时序作为检测成效：

凭据观察发现，在时序行为检测工作中，贡献最终检测机能 mAP 重要取决于打分靠前的若干提名，因而不仅注沉提名的多样性，更注沉提名的正确性。TCANet 在对候选提名的进行优化后，重要提高了 AR@1 和 AR@10 的成效，因而对于时序行为检测机能的提升极度显著，排名靠前的提名质量也更高，对于该工作的业务利用落地有极度沉要的意思。

部门-全局时序编码？樵谔烨蹈怕试げ獾牧司挚墒踊缦滤，可见在仅是有全局时序编码时，容易产生较多的全局噪声，且对于作为天堑的响应较低。P.S. 在我们之前的工作（BSN++）中曾指出，仅使用堆叠的 1D 卷积进行天堑预测时也会产生较多的天堑噪声，导致精度较低。

关于多阶段时序天堑回归？榈挠呕尚缦峦妓荆

此表，TCANet不仅能够用来提升已有步骤天生提名的总体质量，也能够在随机输入（例如，一系列的滑动窗口）时天生高质量的提名，且尝试批注在这种情况下也可获得SOTA的成效。关于TCANet步骤的？橄诔⑹院头制绮街杼崦淙胧钡穆嘲粜圆馐砸约靶懿馐，欢迎关注后续论文链接！

Part 7 结语

本文首先提出了用于同时聚合部门-全局信息的时序特点编码？，在主流大型视频数据集上均获得了显著的成效提升，证实了长时序建模对于视坡讽解工作的沉要性。同时，基于天堑特点和提名特点的互补天堑回归进一步提高了定位的正确性。在步骤的实现细节部门涉及了较多的 insight，为该工作的后续发展提供了参考的方向。

论文地址

https://arxiv.org/abs/2103.13141