【空洞卷積】--- 增大感受野的一種方法

在實例分割任務中, 增大感受野對分割效果有比較大的提升
而增大感受野的一種常用方法是 Dilated convolution(空洞卷積).

一. 概念

Dilated convolution, 一般叫做空洞卷積或擴張卷積. 簡單來說就是往一般的卷積層中插入空洞, 進而實現感受野的增大. 而超參數 Dilation Rate 就是插入空洞的數量, 定義上是卷積核處理數據時各值的間距.(2的話則間距1, 3則間距爲2)

標準的卷積層的 dilation rate 是1.

標準 3×3 大小帶有padding的卷積核

大小爲 3×3, dilation rate爲2的空洞卷積層

之所以提出 空洞卷積 概念, 是爲了不用池化方法(雖然pooling也會增大感受野, 但會造成信息的損失).

二. 原理

如下所示, 是一系列的不同擴展率的單個點的感受野. 其中紅點標記的爲正常的卷積核位置, 無標記的深色處記爲0.

圖(a):

• 對應的 $3 \times 3$ 的1-dilated卷積層, 就是普通的卷積層(3+4*0)

圖(b):

• 對應的 $3 \times 3$ 的2-dilated卷積層, 間距爲$1$. 除了9個紅標記的的權重不是0外, 其他區域的權重大下都是0, 這樣確保9個紅點與$3 \times 3$的卷積核進行卷積操作二忽視其他的點, 可將其視爲 $7 \times 7$的卷積核.(3+4*1)
• 因此雖然卷積核大小隻有$3\times 3$, 但是感受野的大小增加到了$7 \times 7$

圖©:

• 對應的 $3 \times 3$ 的4-dilated卷積層, 間距爲3, 可視爲$15 \times 15$的卷積核.(3+4*3)
• 因此雖然卷積核大小隻有$3\times 3$, 但是感受野的大小增加到了$15 \times 15$

---

三. 參考

[1]. https://www.jianshu.com/p/f743bd9041b3