ICCV 2019 論文速讀

知識蒸餾（Teacher & Student）

• Learning Lightweight Lane Detection CNNs by Self Attention Distillation

  利用層與層之間的促進關係，相當於逼着前面的層與後面層的輸出結果相似，加上distillation到loss目標函數中，有點teacher vs student 的思想，將冗餘的大網絡精簡爲小網絡。self attention, 自我促進。