近年来，模型轻量化作为一种常用的模型加快步骤，受到深度进建钻研人员的青睐。作为一篇网络通路数压缩的文章，本文探求了固定权沉共享的方式在模型压缩中的利弊，并据此提出一种新的自由权沉共享的解法
；谔岢龅娜ǔ凉蚕碚绞，本文还提出了一种基于 FLOPs 的分组步骤，以实现更优分组的主张。为相识决搜索空间过大的难题，本文提出了一种多阶段通路数搜索的步骤，以促使从“粗搜索”到“细搜索”的进化，进而实现高精度细粒度的模型通路数搜索。

本文重要介绍我们 ICLR 2021 接管的一篇文章： 

Locally Free Weight Sharing for Network Width Search。

Part 1 动机和布景

深度进建网络结构能够容易的通过堆叠多层非线性层来实现。然而在现实利用中，我们还必要决定每层设计的网络宽度，这个工作通常必要适配特定的网络推算预算, 如 FLOPs, latency。因而，为了适应分歧的预算成本，一个过度参数化的网络结构往往必要通过被裁剪，以适应分歧的工作需要。得益于近年来 NAS 技术的迅速发展，基于权沉共享的超网络 (supernet)的通路(channel) 搜索步骤被宽泛利用。Supernet 作为一个网络结构（i.e., 网络宽度）机能的评估器，用于评估搜索空间中所有通路数配置(网络宽度)的相对排序。此工作中搜索空间往往是巨大 (如10^25 for MobileNetV2)，因而正确评估分歧通路数配置对于 supernet 而言是极度难题的。在网络宽度搜索算法中，若何训练 supernet 以及成立 supernet 与搜索空间中结构的对应关系，对于其是否能正确评估分歧网络宽度的相对排序极度沉要。

在本篇论文中，我们提出了一种新的部门自由的权沉共享方式，使搜索空间中的每个网络宽度能占有肯定的自由度来自由的选择与 supernet 网络权沉的对应关系。具体而言，对于每一个网络结构，我们给肯定水平的自由，使其能在肯定领域内自由的拔取相宜的 supernet 权沉并与之对应，从而更正确的训练 supernet 和搜索相宜的网络宽度。同时，为了减幼搜索空间，我们提出了一种基于 FLOPs 的分组步骤，使每一组通路都尽可能有一样的 FLOPs，从而排除了 supernet 训练和网络宽度选择时的分组不平正造成的滋扰。由于我们提出的部门自由的权沉共享方式，搜索空间被肯定水平放大。因而我们也提出了多阶段搜索的步骤，实现从“粗搜到细搜”的过程，以提高搜索的正确性。本论文搜索出的结构在 ImageNet (mobile setting) 下获得了 SOTA(state-of-the-art) 的了局。

Part 2 重要思路

部门自由的权沉共享方式

为了成立 supernet 的权沉与搜索空间中的结构的对应关系，传统的网络宽度搜索算法会选取固定的对应关系。例如，网络中前 c 个 channel 对应宽度 c。

然而这种强约束也限度了supernet的机能。例如，幼的宽度对应的supernet的权沉始终是大的宽度的一个子集，这种固定的对应关系将导致肆意两组分歧的网络宽度的权沉共享水平达到最大。事实上，对于固定的对应关系，肆意两组分歧网络宽度的权沉共享水平都是1。

因而，我们提出部门权沉共享的战术。对于每一组网络宽度，部门channel 选取固定的对应战术，对于渣滓的channel给与其肯定的自由度以选择相宜的对应关系。

Supernet优化和搜索方式

为了在提出的部门自由的权沉共享方式中，找到相宜的 supernet 与网络宽度之间的对应关系，我们提出 选取每组网络宽度对应的获得最佳 performance（如，最大 accuracy 和最幼的 loss）的权沉对应方式来构建其与 supernet 之间的联系。

基于supernet的训练过程：

相应的搜索过程：

基于FLOPs敏感度的通路数分组步骤

为了减幼搜索空间的大幼，以往的步骤往往选取均匀分组的战术，将每层所有的通路数均匀的分为固定的组数。然而，这种分组步骤忽略了通路自身的信息，如 kernel 大幼，特点图分辨率等等。我们也把稳到这些信息直接与 FLOPs 的组成有关，基于这个观察，我们提出构建基于 FLOPs 敏感度的通路数分组规划，使得每个组内都能有一样的 FLOPs，从而可能排除分组分歧带来的训练和测试差距。

多阶段搜索步骤

为了搜索到高精度且细粒度的网络结构，往往必要界说一个极度巨大的搜索空间。然而，从巨大的搜索空间中很难直接搜索到相宜的网络宽度。针对这个问题，我们提出多阶段搜索来预防搜索空间过大的问题，同时保障搜索了局的细粒度。

Part 3 尝试了局

同时我们验证了我们搜索结构在指标检测工作上的迁徙能力。

Ablation Study

1. channel选择自由区间的作用

基于 CIFAR-10 数据集，我们对提出的部门权沉共享战术进行了评估，如图 2 所示？杉谒孀抛杂啥鹊奶岣，supernet 的评估能力和最终搜索结构的精度将会相应提高。

2. 训练和搜索功夫影响的评估

由于我们提出的算法将会涉及到搜索 supernet 与网络宽度对应关系的过程，因而东升国际官网算法比固定的权沉共享方式必要支出肯定水平额表的推算价值。因而，我们钻研在额表提供更多的训练和搜索功夫的情况下，是否会带来额表的机能提升。

如表6所示，在给定的训练和测试框架下，额表的训练功夫并不会提升 supernet 评估的正确性，而提高搜索功夫也仅能微量提升搜索了局。

Part 4 总结

超网络训练和评估是网络宽度搜索的沉要议题。与当前步骤选取固定的权沉共享步骤分歧，东升国际官网步骤更注沉于索求 supernet 与网络宽度之间的对应关系。这种自由的对应步骤的提出，可能援手索求 supernet 更好的训练和表白步骤。CafeNet 的姊妹篇工作 BCNet 目前也被 CVPR 2021 接受，其是从权沉共享的平正性进行切入的，我们也会后续进行解读与分享。

Part 5 作者介绍

论文一作苏建，目前在悉尼大学攻读博士，重要从事 AutoML 领域中模型压缩和神经网络结构搜索等方向的钻研，在 CVPR、ICLR 上颁发多篇 paper。

主页：https://xiusu.github.io

论文二作游山为本文的通讯作者，目前在东升国际官网科技担任钻研员，重要钻研方向为自动化机械进建、模型轻量化以及在推算机视觉中的利用与落地，目前颁发 20 余篇蕴含NeurIPS、ICLR、CVPR、KDD、AAAI、IJCAI 在内的国际顶会 paper，担任多个  top-tier 会议或期刊审稿人。

主页：http://shanyou92.github.io/

论文三作黄涛，目前在东升国际官网科技担任钻研员，重要钻研方向为自动机械进建、模型轻量化及其在推算机视觉中的利用，在 CVPR、ICLR 上颁发过多篇 paper。

主页：https://taohuang.info/

论文地址

https://arxiv.org/pdf/2102.05258.pdf