大致流程：使用RNN產生一定數目的候選網絡(子網絡)-訓練候選網絡至收斂然後得到一個性能指標-RNN使用性能指標通過policy gradient更新自己的RNN網絡參數
與NASNet比較：EfficentNas的訓練只用了一塊1080Ti訓練了16個小時以下，訓練時間上比NASNet減少了1000倍；強制候選網絡共享權重來減少訓練時間，從而每個候選網絡不必從零開始訓練；
與GeneticNAS比較：EfficientNAS是通過RNN來決定網絡operation的類型和連接方式；都使用了權重共享，具體是在每個節點的每個operation類型都有一個權重，那麼不同網絡調用同個位置的同個operation類型的時候權重是一樣的；
與Deep Neural Network Evolution比較：每個節點的operation類型是隨機抽樣的；
節點2先生成一個之前的節點index再生成節點2的激活函數
訓練分兩個階段：1.先固定policy(本質是RNN)生成一定數目的網絡，使用SGD訓練網絡共享權重(即訓練所有網絡)，目標是最小化通過policy所有生成網絡的交叉熵損失期望，損失函數是關於生成網絡m和共享權重w的函數，通過梯度下降法使用一定數目網絡的損失函數對共享權重w求偏導得到梯度，來不斷地更新w；2.固定共享權重w，最大化一定數量的生成網絡的reward期望來不斷更新policy(即RNN)，這裏的reward指準確率。
取最佳網絡時時在訓練好的policy下產生多個網絡，計算這些網絡在驗證集的一個minibatch的準確率，選擇表現最好的網絡
網絡的整體大框架
一個Conv cell的設計：
ENAS可用於搜索RNN或CNN網絡結構
RNN：主要搜索在某個節點使用的激活函數和該節點輸入爲之前的哪個節點
CNN：可分爲網絡搜索(macro search space)或單元搜索(micro search space)
網絡搜索(macro search space)：一個節點的輸出可作爲該網絡之後所有節點的輸入
單元搜索(micro search space)：先固定框架再搜索每個cell中的結構
