GeneticNas論文筆記

GeneticNas:有進化搜索的ENAS,帶權重共享的網絡搜索(把網絡中的每個block看成固定數目成分的有向無環圖；既然是固定數目的，那隻要換換成分即可)
ENAS:使用RNN產生新的網絡，並使用權重共享
DARTS:使用一個關於梯度的函數來決定如何更新每個連接
GA四要素：selection, cross-over, mutation and replacement；先經過前三個步驟生成新的網絡，再替換population中的網絡
網絡結構：
1.左邊爲網絡結構，右邊爲Reduction Cell和Normal Cell的結構

2.每個DAG模塊由Nb個block組成；

3.每個block結構一樣，都是由兩個input,兩個operator，一個add操作構成；

4.每個block使用整數列表表示

5.每個op的輸出通道數目與輸入相同
6.op可選擇

實驗步驟：現在cifar-10上搜網絡，再在cifar-10，cifar-100上訓練得到準確率；搜索時的Normal Cell個數和每個block中op的通道個數都比最後得到最佳網絡，再把最佳網絡放到目標數據集上去訓練時的少
消融實驗結構：過大或過小的population都不行，block crossover優於常規的uniform crossover(後者變動的比前者多)，mutation概率不易過大或過小；基本上變動的過多都不利於得到更好的網絡，變動的過小不利於搜索；