[NAS-seg]RONASMIS

論文題目：Resource Optimized Neural Architecture Search for 3D Medical Image Segmentation

---

基於強化學習參數共享實現搜索
將重點放在宏觀搜索的最優搜索空間上，而不是微觀搜索

關鍵詞 3D醫學分割，nas

---

1.39 days for 1GB dataset
one RTX 2080Ti with 10.8GB

• 通過在搜索過程中不斷訓練子網絡而不重新初始化子網絡的權值，避免了在找到最優結構後對網絡進行重新訓練。

• 通過使用基於加法的skip連接和用depth-wise卷積代替普通卷積，有效地利用了GPU內存。
  

---

Search Space

• 搜索操作見上圖右邊

• 本文搜索空間 與其他搜索nas有如下不同：
  1、將輸入patch的大小和下采樣操作的數量 考慮進搜索空間
  2、將pooling數量和 空洞率 考慮進搜索空間
  3、關注宏觀搜索
  4、加skip點（這裏的解釋是通過加入skip，以最大限度地提高網絡間skip連接的效果）

• 1x1卷積後接skip操作參數量大，在宏觀搜索中替換爲基於對應元素相加的skip

• 加入三個激活操作和兩個pooling操作，沒有參數，不佔內存，但是決定性能

• 加入zero 操作，爲了防止過擬合

• input patch size
  

---

The Proposed Base Architecture

• 使用unet作爲基本搜索空間
  

---

Training the Controller’s Parameters

• ENAS提出的參數共享的增強學習來訓練controller
• 假設順序操作的組合構成了最優的結構。因此，我們通過向LSTM輸入添加惟一的值來區分不同的操作。認爲可微的方法記錄所有的操作，佔GPU
• 每個episode 控制器創建20個子網絡，並觀察每個網絡的驗證集分數，作爲獎勵來訓練控制器。 dice loss