返回- 主题技术
- 以原创技术系统为根基 ，SenseCore东升国际官网AI大装置为主题基座 ，布局多领域、多方向前沿钻研 ，
急剧买通AI在各个垂直场景中的利用 ，向行业赋能。
商研丨三次成功挑战指标跟踪算法极限 ，入选ECCV、CVPR Oral的SiamRPN系列已开源
人为智能利用在自动驾驶、智慧交通、智慧零售等场景的时辰 ，往往必要鉴别和跟踪动态的人或物体。由于存在遮挡、光照变动、尺度变动等一系列问题 ，指标跟踪(Object Tracking)一向都存在较大挑战。
近日 ，东升国际官网指标跟踪SiamRPN系列算法的SiamRPN++又获得新突破 ，入选了CVPR 2019 (Oral) ，在多个数据集上都实现了10%以上的超过 ，并且是SOTA(成效最好的)算法。
以上动图中 ，红色框是SiamRPN++的跟踪成效 ，蓝色框是ECCV 2018上的UPDT的了局 ，能够看出SiamRPN++的成效更佳 ，跟踪成效更不变 ，框也更准。从这个图也能够看出跟踪的一些挑战：光照急剧变动 ，状态、大幼变动等。
指标跟踪有一个“特殊大脑”——孪生网络(Siamese Network) ，单一来说 ，就是左右两个神经网络的权沉一样 ，提取的特点类似。如下图所示：
历经数年 ，东升国际官网智能视频团队萦绕着孪生网络的指标跟踪算法技术潜心钻研 ，并将钻研成就总结颁发了三篇系列论文 ，均被国际驰名推算机视觉会议录用。这三篇论文别离为入选CVPR 2018的SiamRPN ，获得ECCV2018的VOT Workshop冠军的DaSiamRPN ，以及刚刚又入选CVPR 2019 (Oral)的SiamRPN++。
想相识指标跟踪SOTA算法是若何炼成的吗?东升国际官网君呈上三篇系列论文解读 ，由浅入深为您逐一路来。
第一篇论文SiamRPN：将检测算法引入到跟踪
指标跟踪是指在视频中框定第一帧中指标的地位并在后续帧中进行跟踪。固然孪生网络能对指标急剧定位 ，但不能对指标框作出调整 ，无法对跟踪指标的状态进行调节。跟踪不只是定位和比对 ，它对指标框(可理解为指标领域)的回归预测一样沉要。
SiamRPN将检测中的区域推荐网络引入到跟踪中的孪生网络：孪生网络能够利用被跟踪指标的信息;区域推荐网络能够对指标地位进行更精准的预测。通过两者的结合 ，SiamRPN能够进行端到端的训练 ，让跟踪的框变的越发精准。
除了算法上的创新 ，SiamRPN还在数据上发力 ，选取了更大规模的数据训练集Youtube-BB(约莫是VID的50倍) ，进一步提升了跟踪的机能。
结合以上两点创新 ，在基线算法SiamFC(卷积孪生网络)的基础上 ，SiamRPN实现了五个点以上的提升(OTB100 ，VOT15/16/17数据集) ，同时还达到了更快的速度(160fps) ，更好地实现了精杜纂速度的平衡。SiamRPN论文被CVPR 2018(Spotlight)录用。
第二篇论文DaSiamRPN：改进训练数据集 ，加强判断能力
SiamRPN固然获得了极度好的机能 ，但它的训练集重要来自VID和YoutbeBB ，物体类别极度少 ，仅二三十类 ，难以满足指标跟踪的通用类此外需要 ，只“意识”几十种类此外图像可不能。
那么若何解决数据类别不及的问题呢?
我们知路 ，COCO和ImageNet Det的检测数据集别离有八十类和两百类 ，所以东升国际官网智能视频团队尝试将这两个检测数据集引入进来。孪生网络的训练只必要图像对 ，而并非齐全的视频 ，所以检测图片也能够被扩大为跟踪训练数据。
但将检测数据集引入跟踪之后 ，又发现一个新的问题：这个网络会对所有有语义的样本进行响应 ，而不是仅仅对指标物体进行响应。好比让它跟踪一幼我 ，但它遇到一个椅子也会有很高响应。由于在之前的训练方式中 ，负样本(和指标无关的样本)只有布景信息 ，这肯定水平上限度了网络的判断能力。
钻研就是不休遇到问题解决问题的过程 ，钻研人员在DaSiamRPN中又改进了步骤——增长了一些有语意的负样本对来加强跟踪器的判断能力 ，即训练过程中不再让模板和搜索区域是一样指标;而是让网络进建判断能力 ，去寻找搜索区域中和模版更类似的物体 ，而并非一个单一的有语义的物体。
经过上述的改进 ，网络的判断能力变得更强 ，检测分数也变得更有分辨力 ，这样就能够凭据检测分数判断指标是否隐没；诖 ，DaSiamRPN能够将短时跟踪拓展到长时跟踪 ，并且在UAV20L数据集上比之前最好的步骤提高了6个点。
DaSiamRPN也被 ECCV 2018 收录 ，并且在ECCV 2018的VOT workshop上面 ，DaSiamRPN获得了实时角逐的冠军 ，相比去年的冠军有了80%的提升。
第三篇论文SiamRPN++：对孪生网络自身“下刀子” ，利用深网络
以上孪生网络在算法和训练数据集上都做了改进 ，应该没有什么能够再改进的处所了吧?
NO!还有!东升国际官网智能视频团队的钻研人员还对孪生网络自身“下刀子”。之前的孪生网络都是基于比力浅的卷积网络(如AlexNet) ，无法利用深网络为跟踪算法提升精度。
但深网络不能直接引入 ，不然会有反作用——机能大幅衰减。
引入深网络之前必要先缓解地位私见问题 ，钻研人员通过提出在训练过程中参与“地位平衡的采样战术”来缓解这一问题 ，让深网络可能阐扬出应有的成效。
在缓解了这一问题后 ，深网络可能用在孪生网络中 ，不只能够跟踪更多细节信息(浅层网络特点) ，并且能跟踪更多语义信息(深层网络特点) ，利用多层融合信息进一步提升机能。
同时 ，论文还提出了新的衔接部件 ，深度可分离有关层(Depthwise Correlation ，后续简写为DW)。相迸宗之前的升维有关层(UpChannel correlation ，后续简写为UP) ，DW能够极大地简化参数量 ，平衡两支的参数量 ，同时让训练越发不变 ，也能更好的收敛。
为了验证以上提出的内容 ，钻研人员做了具体的对比尝试。在比力常用的VOT和OTB数据集上 ，SiamRPN++获得了SOTA的了局。
在VOT18的长时跟踪 ，以及最近新出的一些大规模数据集上 ，如LaSOT ，TrackingNet ，SiamRPN++也都获得了SOTA的了局。
SiamRPN++论文也已经被CVPR 2019 Oral录用 ，详情可查看论文《SiamRPN++: Evolution of Siamese Visual Tracking with Very Deep Networks》。
https://arxiv.org/abs/1812.11703
另表 ，东升国际官网科技智能视频团队也初次开源了指标跟踪钻研平台PySOT ，蕴含指标跟踪SOTA算法SiamRPN++和SiamMask等算法？吹刂房山蛹 https://github.com/STVIR/pysot ，或点击左下角“阅读原文”。
参考文件:
1. Bo Li, Wei Wu, Qiang Wang, Fangyi Zhang, Junliang Xing, Junjie Yan, "SiamRPN++: Evolution of Siamese Visual Tracking with Very Deep Networks" (Oral) in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2019.
2. Zheng Zhu, Qiang Wang, Bo Li, Wei Wu, Junjie Yan, "Distractor-aware Siamese Networks for Visual Object Tracking" European Conference on Computer Vision (ECCV) 2018.
3. Bo Li, Junjie Yan, Wei Wu, Zheng Zhu, Xiaolin Hu, "High Performance Visual Tracking with Siamese Region Proposal Network" (Spotlight) in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2018.
4. Luca Bertinetto, Jack Valmadre, Jo?o F. Henriques, Andrea Vedaldi, Philip H. S. Torr
"Fully-Convolutional Siamese Networks for Object Tracking" in ECCV Workshop 2016.
5. Goutam Bhat, Joakim Johnander, Martin Danelljan, Fahad Shahbaz Khan, Michael Felsberg."Unveiling the Power of Deep Tracking" European Conference on Computer Vision (ECCV) 2018.
