[NAS]Fair darts

論文題目：Fair DARTS: Eliminating Unfair Advantages in Differentiable Architecture Search
論文鏈接：https://arxiv.org/pdf/1911.12126.pdf
論文代碼：https://github.com/xiaomi-automl/FairDARTS

---

fair darts探討了 DARTS 存在的兩個問題：

        1、搜索過程中 skip connection 在優化後期出現過多

        2、連續的結構參數離散化存在 gap （超網在 ImageNet 上達到73.48%，離散化後full train只有 66.39%）

分別根據上述兩個問題，給出對應的解決方法:

        1、將權重操作的歸一化獨立開
        2、提出一個新的loss來抑制近似過程中的性能差距；

---

將權重操作的歸一化獨立開

        歸一化權重的同時又要讓權重之間獨立互不干擾，選取sigmoid替換softmax。

提出一個新的zero-one loss作爲正則項引入損失函數

​         實驗分析知，op與op之間的weight差距不夠大，不能顯著地引導區分所謂的好操作和壞操作。爲此，作者設計了一個新的損失函數，作爲正則項加入最終的損失函數，來引導將權重區分得更加明顯。

        總的損失函數爲:


   實驗中，提高了$l1$和$l2$兩種正則化方案，選取權重$\omega_{0-1}$爲10.

---

結果

cifar10

imagenet