在 CVPR 2021, 南洋理工大学 S-Lab、CUHK-SenseTime 结合尝试室、中科院丽江先进技术钻研院等对视频超分辨率的现有钻研作出分析, 并沉新思考视频超分中最沉要的组成部门, 以寻找一个通用有效的视频超分网络。在这项钻研中
，本文提出一个单一而有效的网络: BasicVSR。与现有算法比力
，BasicVSR 在速度和复原质量方面均有显著的改进。另表, 通过两个新鲜的部件 (information-refill, coupled propagation)
，进一步展示了 BasicVSR 的通用性和可扩大性。BasicVSR 及其改进版本 IconVSR 能够作为将来视频超分步骤的壮大 baseline。此表
，BasicVSR 能够推广到各类视频还原工作。最近
，我们扩大了 BasicVSR 并参加了 NTIRE 2021 视频复原角逐
，该模型在视频超分辨率和压缩视频加强挑战中获得了两个冠军。BasicVSR 和 IconVSR 的代码和模型已颁布到MMEditing。

论文标题：BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond

Part 1 概括

与图像超分辨率相比
，视频超分辨率(VSR)带来了一个额表的挑战
，由于它涉及从视频序列中多个高度有关但未对齐的帧中荟萃信息。现今已经有分歧步骤[1,2,3]来应对这一挑战
，但是VSR步骤复杂和不相容的设计给执行和扩大示有步骤带来了难题
，从而故障了将来的发展。因而
，我们有必要沉新思考VSR模型的多样化设计
，以为VSR寻找更通用
，有效和易于实现的基线。

在这项工作中
，我们首先将盛行的VSR步骤分化。我们观察到
，大无数现有步骤必要四个互有关联的组成部门
，即传布
，对齐
，聚合和上采样。凭据东升国际官网分析
，我们提出了BasicVSR
，并证明只需对现有选件进行最幼水平的沉新设计
，就能够得到一个壮大而有效的基线。此表
，通过information-refill mechanism和coupled-propagation来
，我们进一步展示了BasicVSR的可扩大性。

BasicVSR及其扩大IconVSR能够作为将来VSR步骤的牢固基线。请拜见下图进行比力。值妥贴心的是
，BasicVSR能够推广到各类视频还原工作。我们最近扩大了BasicVSR
，并参加了NTIRE2021视频挑战。东升国际官网模型在视频超分辨率和压缩视频加强挑战中获得了两个冠军。为了推进将来的发展
，我们颁布了代码和模型 MMEditing. 

Part 2 VSR步骤的分析

通过东升国际官网钻研
，我们得出结论
，常见的VSR管路能够分化为四个部门：传布
，对齐
，聚合和上采样。下图显示了一些代表性步骤的分化。

我们看到
，很多现有步骤将聚合的特点拼接起来
，并选取pixel-shuffle进行上采样
，它们重要在传布和对齐方式上有所分歧。在这项工作中
，我们将把稳力集中在传布和对齐分析上。

传布: 传布能够大体分为三类：部门
，单向和双向。为了相识它们的差距和贡献
，我们进行了尝试并观察了机能。 

我们证实选取全局传布的沉要性。我们从（在功夫维度上）全局感触野起头
，而后逐步减幼感触野。我们将测试序列分为K个部门
，并使用BasicVSR独立还原每个部门。如下图所示
，当K削减时
，PSNR的差距（对于K = 1的情况）减幼。这批注远距离帧中的信息有利于复原
，因而不应忽略。此表
，能够观察到
，在每个段的两端
，PSNR的差距最大
，这批注必要选取长序列来堆集持久信息。

而后
，我们比力单向和双向传布。我们将BasicVSR（使用双向传布）与其单向变体进行了比力。从下图能够看出
，单向模型在早期获得的PSNR显著低于双向传布
，随着帧数量的增长
，更多信息的荟萃使差距逐步减幼。并且
，仅选取部门信息
，我们能够观察到不变的机能降落。这些观察了局揭示了单向传布的次不及
，而双向传布能够更有效利用视频中的信息
，从而提高输出质量。

对齐: 现有的循环网络[4,5]通常在传布过程中不执行对齐。不合齐的特点/图像会阻止聚合
，并最终导致机能降落。这种次优职能够通过东升国际官网尝试得到反映
，我们在BasicVSR中删除了对齐？。

若是没有正确对齐
，传布的特点将不会与输入图像在空间上对齐。了局
，诸如卷积之类的部门运算未能有效地在对应的地位荟萃信息。我们观察到PSNR降落了1.19 dB。该了局批注
，采器拥有足够大的感触野以荟萃来自遥远空间地位的信息的操作是极度沉要的。

BasicVSR

从以上钻研中
，我们看到选择相宜的组件设计的沉要性；诖
，我们提出了BasicVSR
，它蕴含了上述设计。在BasicVSR中
，我们仅选取通用组件。这种单一性使BasicVSR能够用作壮大而又易于扩大的基线。BasicVSR选取双向传布来充分利用视频序列中的信息
，并使用光流进行特点对齐。而后
，使用残差块对对齐的特点进行汇总
，并通过pixel-shuffle对其进行上采样。

从BasicVSR到IconVSR

我们以BasicVSR为骨干
，介绍了两个新鲜的组件：Information-refill和coupled propagation(IconVSR)
，以减轻传布过程中的误差累积
，并推进信息聚合。

Information-Refill: 遮挡区域和图像天堑上的不正确对齐是一个严格的挑战
，可能导致误差累积
，尤其是若是我们在框架当选取持久传布的话。为了减轻这种谬误特点带来的不良影响
，我们提出了一种信息补充机造
，用于特点优化。附加的特点提取器用于从输入。ü丶。┘捌涓髯缘牧谟虻淖蛹刑崛∩畈闾氐。而后通过卷积将提取的特点与对齐的特点融合。

Coupled Propagation: 在双向设置中
，特点通常在两个相反的方向上独立传布。在这种设计中
，每个传布分支中的特点都是凭据部门信息（来自先前的帧或将来的。├赐扑愕。为了利用序列中的信息
，我们提出了coupled propagation。在coupled propagation中
，传布？槭窍嗷ハ谓拥
，将后向传布的特点作为前向传布？榈氖淙。

了局
，前向传布分支从从前和将来的帧中接管信息
，从而导致更高质量的特点
，并因而获得更好的输出。更沉要的是
，由于coupled propagation只必要扭转分支衔接
，我们能够在不引入推算开销的情况下获得机能增益。

Part 3 尝试了局

我们在四个数据集上
，两个退化上测试BasicVSR和IconVSR。我们看到
，没有复杂的；
，BasicVSR就已经能够在多个数据集上胜过现有技术。借助我们提出的部件
，IconVSR能够进一步提高机能
，并在大无数数据集上实现最先进的机能。以下了局批注
，BasicVSR和IconVSR通过利用持久信息成功地沉建了细节。

Part 4 结语

通过度化和分析现有元素
，我们提出了BasicVSR
，这是一个单一而有效的网络
，能够高效地胜过现有技术。我们提出了两个新鲜的组件来进一步提高机能。BasicVSR和IconVSR能够作为将来工作的牢固基线。

有关链接

Paper (arXiv):

https://arxiv.org/abs/2012.02181

Project Page: https://ckkelvinchan.github.io/projects/BasicVSRCodes: https://github.com/ckkelvinchan/BasicVSR-IconVSR

作者介绍

陳焯杰 (Kelvin C.K. Chan) | 南洋理工大学S-Lab和MMLab@NTU三年级博士生。在顶级会议上颁发过五篇论文
，在NTIRE视频复原角逐中共获得六个冠军。导师是吕健勤(Chen Change Loy)副教授。当前重要钻研兴致为图像和视频复原
，重要蕴含超分辨率和去吞吐等。

幼我主页：https://ckkelvinchan.github.io/

尝试室主页：mmlab-ntu.github.io