[NAS-seg]Scalable Neural Architecture Search for 3D Medical Image Segmentation

論文題目：Scalable Neural Architecture Search for 3D
Medical Image Segmentation

---

使用nas的方法，搜索3D醫學圖像分割的網絡結構。提出基於SGD的雙層優化，同時學習網絡結構和相關操作參數

---

搜索空間

Cell C 有四種類型：

• encoder-normal       $(C_{enc})$
• reduction                  $(C_{red})$
• decoder-normal      $(C_{dec})$
• expansion                $(C_{exp})$

normal cells：$(C_{enc})$ ，$(C_{dec})$

resizing cells：$(C_{red})$，$(C_{exp})$

• normal cells和resizing cells 通過skip 操作在decoder和encoder的cell中交替堆積

• inter-cell,copy of$(C_{enc})$ ，應用在encoder和decoder之間

• $o(i,j) ∈ O$，候選操作
  

• cell的輸出是所有中間節點的 channel-wise concatenation

• 爲簡單起見，所有的Cell都共享一個公共結構，不考慮層級別。

• zero operation 代表無連接

---

優化方法 stochastic bi-level optimization

• 選擇邊的操作，one-hot 向量 $z^{(i,j)} = \left\{z_o^{(i,j)}| o ∈ O\right\}$

• 操作向量，$o^{(i,j)} = \left\{{o(x^i ; θ_o^{(i,j)} )|o ∈ O}\right\}$

• $θ_o^{(i,j)}$表示操作o在邊(i,j)的參數
  

• 雙層優化
  

• darts將z近似爲連續概率，考慮每條邊的混合op，提出修改
  

• Gumbel-softmax
  

• $τ$，temperature 是大於零的參數，它控制着 softmax 的 soft 程度

• $ε$ 來自Gumbel distribution的隨機變量
  

• 梯度下降迭代更新$Θ$ 和 $α$