论文地址：

GreedyNAS: Towards Fast One-Shot NAS with Greedy Supernet

https://arxiv.org/abs/2003.11236

导读：

在CVPR 2020上，东升国际官网移动智能事业群-3DAR-身份认证与视频感知组提出了基于贪心超网络的One-Shot NAS步骤，显著提升了超网络直接在大规模数据集上的搜索训练效能，并在尺度ImageNet数据集上获得了300M FLOPs量级的SOTA。GreedyNAS论文通过提出一种贪心的超网络结构采样训练步骤，改善了训练得到的超网络对结构的评估能力，进而援手搜索算法得到精度更高的结构。

动机与布景

在目前的神经结构搜索领域中，One-Shot NAS步骤由于其搜索开销幼被宽泛利用，这些步骤使用一个权沉共享的超网络（supernet）作为分歧网络结构的机能评估器，因而，supernet的训练对搜索了局的曲直至关沉要。然而，目前的步骤通常选取了一个根基的如果，即supernet中每一个结构是一致沉要的，supernet应该对每个结构进行正确评估或相对排序。然而，supernet中所蕴含的结构量级（搜索空间的size）是极度巨大的（如 7^{21} ），因而正确的评估对于supernet来说是极度难题的，导致supernet中结构的阐发与其真实阐发有关性很差 [1]。

在本篇论文中，我们提出一种贪心超网络来减轻supernet的评估压力，使得supernet越发贪心地注沉于有潜力的好结构，而不是整个。具体而言，在supernet训练过程中，我们提出了一种多蹊径回绝式采样步骤(multi-path sampling with rejection)来进行蹊径滤波 (path filtering)，使得有潜力的好结构得到训练。通过这种步骤，supernet的训练从整个搜索空间贪心地缩幼到了有潜力的结构组成的空间中，因而训练的效能得到了提升。同时，为了进一步增大有潜力结构的采样概率与提高训练效能，我们基于exploration and exploitation准则，使用一个经验池存储评估过的“好”结构，用来加强贪心度并为后续的搜索提供好的初始点。本论文搜索出的结构在ImageNet (mobile setting) 下获得了 SOTA(state-of-the-art) 的了局。

重要思路

巨大的搜索空间带来的评估压力使supernet难以正确地域分结构的曲直，由于所有结构的权沉都是在supernet中高度共享的，若是一个差的结构被训练到了，好的结构的权沉也会受到滋扰。这样的滋扰会减弱好网络的最终评估精度，影响网络的搜索了局。同时，对差的结构进行训练相当于对权沉进行了没有必要的更新，降低supernet的训练效能。

多蹊径回绝式采样

针对上述问题，一个直接的设法就是基于贪心战术，在训练过程中只训练好的结构。但很显然，我们并不知路一个随机初始化的搜索空间中哪些结构是好的。如果对于一个supernet，我们思考其搜索空间A的一个完整划分，即：

搜索空间能够如上划分为好的空间与差的空间，且好空间中每一个结构的ACC均大于差空间，即

因而，一个梦想的采样战术是直接在好空间中进行采样即可。然而凭据上面的不等式，确定所有结构中哪些是来自好空间必要遍历整个搜索空间，推算开销是无法接受的。为相识决这个问题，我们首先思考从全空间中进行的一个均匀采样，那么每个path来自好空间的概率为：

为了得到必要的来自于好空间的结构，我们进一步思考一个多维的Bernoulli尝试，那么有如下的结论：

我们取m = 10和m = 20，对定理1的概率进行绘造，如Figure 2所示，可见这种采样下得到来自好空间中的path的概率是很高的。

因而，我们能够对采样到的多个结构进行评估筛选的步骤提升采样到“好”结构的概率，即每次采样m个结构，从中拔取评估指标最高的k个结构进行训练。但是，对结构进行评估必要在验证集上推算其ACC，这样会增长极度多推算量（东升国际官网ImageNet验证集大幼为50k）。为了削减评估网络的亏损，我们从验证集中随机拔取了一幼部门（如1000张图）组成幼验证集，并使用在幼验证集上的loss作为结构的排序指标。使用幼验证集进行评估，在保障评估正确性的前提下，相较uniform sampling步骤只增长了很少的推算价值，详见论文尝试部门。

基于exploration and exploitation战术的蹊径候选池

在前面提到的蹊径滤波中，我们通过评估能够分辨出较好的结构，为了进一步提升训练效能，受蒙特卡洛树搜索(Monte Carlo tree search)[4] 和 deep Q-learning[5] 中常用的exploration and exploitation战术启发，我们提出使用一个蹊径候选池用于存放训练过程中评估过的“好”结构，并进行沉复利用。具体而言，候选池能够看作是一个固定大幼的有序队列，其只会存储所有评估过结构中得分前n(候选池大幼) 的结构。

有了候选池的援手，我们能够选择从搜索空间中或候选池中采样结构。从候选池中采样的结构是好结构的概率更高，但可能会就义结构的多样性。为了平衡exploration与exploitation，我们选取?-采样战术，即以肯定的概率从整个搜索空间A或候选池P中采样结构α：

在网络刚起头训练时评估过的结构较少，候选池中存储的结构是好结构的可信度不高，因而从候选池中采样的概率 ? 在起头时设为0，并线性增长至一个较高的值（在尝试中，我们发现0.8是一个较优的值）。若候选池中的结构都来自好空间，通过使用候选池，定理1中好网络的采样概率q提升为：

因而，采样10个结构，至少有5个好结构的概率由88.38%提升至99.36% 。

基于候选池的early stopping战术

候选池的更新为supernet的训练情况提供了一个很好的参考。若候选池产生的更新（挨次变换、进出）较少，能够以为超网络中较好的网络维持着一个相对不变的排序，这也注明此时的supernet已经是一个较好的机能评估器，因而训练过程能够提前实现，而不必要训练至网络齐全收敛。

在现实使用中，我们会比力当前候选池P与t轮迭代前的候选池P_t的差距度，若差距度低于某个数值（东升国际官网尝试使用0.08），训练终场。差距度的界说如下：

基于候选池的搜索战术

Supernet训练实现后，我们能够使用验证集的ACC评估结构的曲直。本文使用 NSGA-II 进化算法[3] 进行结构搜索。我们在进化算法中使用候选池中的结构进行population的初始化，相较于随机初始化，借助于候选池可能使进化算法有一个更好的初始，提升搜索效能及最终的精度。

如 Figure 3 所示，我们在统一个训练好的supernet上使用了随机初始化与候选池初始化两种方式进行搜索，使用候选池初始化搜索到的结构的正确率均匀会比随机初始化要高。

尝试了局

为了与目前的one-shot步骤进行对比，我们首先在与 ProxylessNAS[6] 一样的 MobileNetV2 搜索空间上进行结构搜索，了局见 Table 1 。

同时为了进一步提升网络机能，我们在参与了SE的更大搜索空间上进行搜索，了局见 Table 2 。

Ablation Study

多蹊径回绝式采样中的蹊径评估有关性

我们对随机初始化、uniform sampling、greedy步骤训练得到的supernet下的幼验证集指标与齐全验证集ACC有关性进行了评估，如 Table 3 所示？杉谟籽橹ぜ鲜褂胠oss相比ACC会得到更高的有关性，东升国际官网贪心步骤训练出的supernet有着更好的有关性。

我们对分歧大幼幼验证集与齐全验证集的有关性进行了评估（Figure 4 左图），同时对uniform-sampling算法在分歧迭代轮数下的有关性作了评估（Figure 4 右图）Ｄ芄豢闯龆使偻惴ㄔ诮嫌椎难橹ぜ笥咨先阅芪纸细叩挠泄匦，在精杜纂效能的衡量下，我们最终拔取 1000 作为幼验证集大幼。

对多蹊径贪心采样及候选池成效的评估

我们在MobileNetV2的search space下评估了多蹊径贪心采样及候选池的成效，如 Table 4 所示。

总结

超网络训练是单分支One-Shot NAS 步骤的关键。与目前步骤的对所有分支因人而异分歧，东升国际官网步骤贪心地注沉于有潜力的好分支的训练。这种贪心地分支滤波能够通过我们提出的多分支采样战术被高效地实现。我们提出的 GreedyNAS 在正确率和训练效能上均展示出了显著的优势