编者按：如今，PS建图技术变得十吩煺遍，但视频建复却依然是一件极度耗时耗力的事。近期，东升国际官网及结合尝试室颁布了论文《Deep Flow-Guided Video Inpainting》，推出光流疏导 (Flow-Guided)的视频建复算法，让视频PS触手可得。该论文入选了CVPR 2019，代码已开源。本文经AI新媒体量子位(公家号ID:QbitAI)授权转载。

让一幼我的踪影从视频中隐没，总是一个难题。好比综艺节目，把成效不好的部门画面删除或者让卡通人物隐没。

要是有个AI，能一键把这些人物都删掉，还让观多看不出纰漏就好了。此刻，一项CVPR 2019上的钻研，让这个需要造成了现实。

拿美队3举个例子，机场大战中，飘动的红色幼人就是被象征出来的蜘蛛侠，他在用蜘蛛丝把蚁人绑起来。

此刻，AI出马，蜘蛛侠不见了，留下蚁人单独被蜘蛛丝绑缚纠缠，似乎这些蜘蛛丝占有了自动绑缚职能。

再好比，《疯狂动物城》里的兔兔朱迪，也被用红色标注了。它正本在冰面上驰骋，爬上冰山，耐不住滑溜溜的冰面，掉进了水里。

在AI出手之后，朱迪就免去了爬冰之苦，镜头里只有她留在冰面上的影子。正本人物的地位，被建复的极度美满，险些看不出来已经有只兔兔被抠了出去，就如同电影的动画团队把这个镜头沉新做了一遍。

看到这样的成效，不知路上面那两部节主张后期会不会哭晕：持久加班搞出来的成效，别人家的AI就自动实现了，并且毫无违和感，让人物隐没的无影无踪。

另表，估计拍Vlog的视频主播们也会开心的不能：再也不不安网红打卡地遍地都是人了，直接用AI删掉多方便!

背后的AI，是名叫光流疏导 (Flow-Guided)的视频建复算法。它重要来自香港中文大学-东升国际官网科技结合尝试室和南洋理工大学-东升国际官网科技结合尝试室，当选了CVPR 2019。目前，这项钻研的代码已开源。

那么问题来了，在一片热烈的景象里，抹掉一个剧烈活动的人物，怎么会这般轻松自若?

追光者

就像开头提到的那样，隐身术是用光流 (Optical Flow) 炼成的。所谓光流，视觉上长这样：

左边是遮挡版，右边是AI补全版

事实上，它是描述物体活动情况的一个概想，James Gibson在1950年就提出了：指的是空间活动的物体在观察平面上，像素活动的瞬时速度。观察者嘛，可所以人类的肉眼，也可所以摄像机。

在摄像机拍下的视坡凤，帧与帧之间是有功夫挨次的，这样就能够从相邻两帧之间算出光流，那就是物体的活动信息。学到这样的信息，能够用来做指标检测，也能够用来批改视频。团队开发了一个两步的算法：

第一步，估计光流。第二步，用光流来领导建复。

上为第一步，下为第二步

此刻，把这两步拆解一下。第一步，光流估计，把视频上的某个部门挡住，AI要把这一部门的光流补充齐全。好比，下图的红色就是遮挡部门。

团队设计了一个叫做DFC-Net的网络，学着把不齐全的光流补充齐全。而在AI的训练数据里，遮挡是随机天生的，对照齐全的视坡反进建：

左边是随机遮挡;右边是遮挡之后 (用单一填充算法初始化得到) 的光流，期待补全;中央是标答。

DFC-Net有三个子网络。第一个子网络，掌管在一个粗糙尺度上补全光流;把了局交给第二个子网络，细化一下。再交给第三个网络，进一步细化：

这样，就有了最终的光流补全了局。

第二步，就该凭据光流来建复视频了。

道理是，某一帧里被遮挡的信息，在其他帧里可能是存在的。凭据光流提供的活动信息，就能够用其他帧里的已知像素，来添补当前帧的未知像素了。

当然，还有一些信息，整段视频都没显示。这一部门，就要靠传统图像建复网络Deepfill来脑补了。讲完道理，来全方位观察一下，算法的功效到底若何。

美满隐没的马术选手

新的步骤怎么，要和优良的前辈比一场才知路。敌手有两位，一是来自CVPR 2018的Deepfill，二是Huang et al出品、当选SIGGRAPH 2016的算法。

这是第一题，把马术选手和ta的马，从视坡凤面抹掉：

Deepfill (右上) 单靠脑补，马的痕迹极度显著;Huang et al (左下) 天然了很多，但依然有些灰蒙蒙的残留;相比之下，新算法建过的视频，只留下了地上的影子。

还有第二题，把轮滑妹子刻下的水印去掉：

下面是Huang et al前辈的了局，当妹子跳过水印正本的地位，依然看得出不少灰色的污迹：

而本文主角建复的了局，险些看不出视频已经有过水。

当然，不止是肉眼观察的了局，这只新的AI在YouTube-VOS和DAVIS两大数据集上，得分都比前辈更胜一筹：

另表，钻研者们还找了30名吃瓜人民，仔细测试人类的观感。首先在指标移除方面，将近80%的用户以为第一名该当是这项钻研 (蓝色部门) 。

而在布景填充方面，也有近七成用户以为这项钻研的填充成效是最好的。

这篇论文的钻研人员中，一作徐瑞和二作李晓潇来自香港中文大学-东升国际官网科技结合尝试室，三作周博磊是港中大信息工程系助理教授，MIT博士毕业。

最后一位作者吕健勤(Chen Change Loy)，博士毕业于伦敦玛丽女王大学，此刻是南洋理工大学推算机科学与工程学院的副教授，他同时还是港中大的客座副教授，此前也一向在港中大多媒体尝试室任教。

一个彩蛋

你看，受苦操练之后，身为一只兔子的朱迪，用优良的弹跳能力添补了身高劣势，反超队友：

但实力还是能够暗藏的，因而她又把自己融进了雪水：

论文：

Deep Flow-Guided Video Inpainting

Rui Xu, Xiaoxiao Li, Bolei Zhou, Chen Change Loy

https://arxiv.org/abs/1905.02884

项目主页：

https://nbei.github.io/video-inpainting.html

开源代码：