导读：在CVPR 2020上，东升国际官网AutoML团队提出的首个基于参数后验散布个性来提高网络机构搜索机能的工作，该工作为解决网络机构搜索中急剧代理的有效性问题提供了新的思路。同时该团队也公开了在ImageNet数据集上的两种分歧尺寸的模型，作为模型结构搜索和设计的baseline。相比之前的工作，PC-NAS在结构搜索代理的有效性上有显著的提升。

动机

该文章提供了一个分析One-shot参数后验散布的方式，在得出搜索空间中存在的结构越多参数后验散布偏离得越多的结论后，提出了一个基于空间建剪的NAS算法。该工作的钻研动机在于：

1. 当前网络结构搜索算法（NAS）已经能够利用利用。其大量的推算量需要成为了当前最大的问题。然而解决推算量问题的步骤目前还不美满，使用共享参数的超网做代理成为了目前比力普遍的选择。但这类步骤受限于代理和真实情况的误差。

2. 凭据观察和分析，共享参数在训练过程中得到的参数后验与单个模型独立训练的参数散布有肯定的法规。接下来将具体介绍该工作的观察和分析。

凭据贝叶斯模型选择（以及肯定的如果），该工作对共享权沉对结构排序带来的影响给出了两个观察：

• 共享权沉的参数散布与不共享的retrain时刻的结构参数散布的关系能够用KL散度来衡量。

• 可供选择的模型数量上升时，该散度随着布局造数量增长而增长。

有关细节请参考论文

算法

为了在训练权沉共享的同时，减幼权沉共享的网络结构数量，我们提出一种训练时的空间建剪步骤。如果我们目前有一个如上图（a）所示的超网，每一层占有一个mixop（mixop是n个候选op的合称）因而该超网中总共蕴含n^层数个分歧的结构。为了进行搜索空间的建剪，我们提出了 部门结构池的概想(partial model pool)。如果网络结构有L层，部门结构池在整个搜索过程中将会有L个状态（Stage）。每从L-1状态到L状态，部门结构池中的子结构的层数将增长1。

如图（b），此时Stage=2，在部门结构池中有两个层数为2的结构，通过节点编号定名为(1,1)和(0,1)。为了进行至Stage=3，我们会评估2x3个部门结构的潜力，别离是（1，1， 0），（1，1，1），（1，1，2），以及（0，1，0），（0，1，1），（0，1，2）。若何评价部门网络的曲直或者说潜力呢？

为此我们界说 Potential 是在部门结构中为指定的mixop进行随机采样的结构的均匀validation set acc。

搜索了局

更具上上述搜索过程我们别离在一大一幼两个网络空间中进行搜索。幼搜索空间中每层蕴含9种operator，大搜索空间蕴含每层19种operator。我们把大搜索空间的搜索了局定名为PC-NAS-L，幼搜索空间的模型定名为PC-NAS-S。

上表能够看出，在一致的gpu lantency下，东升国际官网PC-NAS能够超过或不低于所有baseline。

在检测工作中能够看验证模型的鲁棒性。

代理保序性

那么我们选取的搜索空间收缩算法是否有效的提高了代理的有效性呢？

我们将统一套代码，使用重新到尾选取one-shot步骤训练和使用东升国际官网算法训练的shareweights进行了比力。对于最后存在在最后一个stage中的部门结构模型所拓展的结构，还有我们随机在one-shot步骤中采的一样数量的结构，这两个群体之间，真实acc和proxyacc之间的有关性。我们能够看到，在最后阶段，有关性比one-shot步骤要有肯定优势。

传送门

论文地址：http://xxx.itp.ac.cn/pdf/1910.02543v1

References

[1] Georege Adam and Jonathan Lorraine. Understanding neural architecture search techniques. arXiv preprint arXiv:1904.00438, 2019.

[2] Bowen Baker, Otkrist Gupta, Nikhil Naik, and Ramesh Raskar. Designing neural network architectures using reinforcement learning. International Conference on Learning Representations, 2017a.

[3] Gabriel Bender, Pieter-Jan Kindermans, Barret Zoph, Vijay Vasudevan, and Quoc V. Le. Understanding and simplifying one-shot architecture search. ICML, 2018.