評論來源：語義分割該如何走下去
“ 當然，如下的看法並不僅僅限於語義分割，對於目標檢測、實例分割等方向也都存在同樣的問題。”
頂會頂刊paper看來看去真沒啥突破：
（1）手動設計網絡結構 -> NAS搜索；
（2）固定感受野 -> 引入空間注意力做感受野自動調節；
（3）效果提升不上去 -> 換個思路做實時分割來對比結果；
（4）自監督太熱門 -> 引入弱監督 （GAN, 知識蒸餾, …） + trick = 差不多的score；
（5）DNN太枯燥，融入點傳統視覺的方法搞成end-to-end訓練；
（6）CNN太單調，配合GCN搞點懸念；
（7）嫌2D太low逼，轉3D點雲分割；
覺得太懶？積木堆起：A+B，A+B+C，A+B+C+D，…
積木總結：
A-注意力機制：SE ~ Non-local ~ CcNet ~ GC-Net ~ Gate ~ CBAM ~ Dual Attention ~ Spatial Attention ~ Channel Attention ~ … 【只要你能熟練的掌握加法、乘法、並行、串行四大法則，外加知道一點基本矩陣運算規則（如：HW * WH = HH）和sigmoid/softmax操作，那麼你就能隨意的生成很多種注意力機制】
B-卷積結構：Residual block ~ Bottle-neck block ~ Split-Attention block ~ Depthwise separable convolution ~ Recurrent convolution ~ Group convolution ~ Dilated convolution ~ Octave convolution ~ Ghost convolution ~ …【直接替換掉原始卷積塊就完事了】
C-多尺度模塊：ASPP ~ PPM ~ DCM ~ DenseASPP ~ FPA ~ OCNet ~ MPM… 【好好把ASPP和PPM這兩個模塊理解一下，搞多/減少幾條分支，並聯改成串聯或者串並聯結合，每個分支搞點加權，再結合點注意力或者替換卷積又可以組裝上百種新結構出來了】
D-損失函數：Focal loss ~ Dice loss ~ BCE loss ~ Wetight loss ~ Boundary loss ~ Lovász-Softmax loss ~ TopK loss ~ Hausdorff distance(HD) loss ~ Sensitivity-Specificity (SS) loss ~ Distance penalized CE loss ~ Colour-aware Loss…
E-池化結構：Max pooling ~ Average pooling ~ Random pooling ~ Strip Pooling ~ Mixed Pooling ~…
F-歸一化模塊：Batch Normalization ~Layer Normalization ~ Instance Normalization ~ Group Normalization ~ Switchable Normalization ~ Filter Response Normalization…
G-學習衰減策略：StepLR ~ MultiStepLR ~ ExponentialLR ~ CosineAnnealingLR ~ ReduceLROnPlateau ~…
H-優化算法：BGD ~ SGD ~ Adam ~ RMSProp ~ Lookahead ~…
I-數據增強：水平翻轉、垂直翻轉、旋轉、平移、縮放、裁剪、擦除、反射變換 ~ 亮度、對比度、飽和度、色彩抖動、對比度變換 ~ 銳化、直方圖均衡、Gamma增強、PCA白化、高斯噪聲、GAN ~ Mixup
J-骨幹網絡：LeNet ~ ResNet ~ DenseNet ~ VGGNet ~ GoogLeNet ~ Res2Net ~ ResNeXt ~ InceptionNet ~ SqueezeNet ~ ShuffleNet ~ SENet ~ DPNet ~ MobileNet ~NasNet ~ DetNet ~ EfficientNet ~ …