深度學習資料整理目錄，與大家一起討論

目錄

1.     空洞卷積作用... 6

2.     Image Pyramid. 6

3.     SPP（Spatial Pyramid Pooling）... 6

4.     deformable convnets V1&V2. 8

4.1 V1和V2區別... 9

5.     bigbatch 訓練... 10

6.     多GPU並行訓練... 10

7.     RoI Pooling與RoIWrap Pooling與RoIAlign Pooling與Precise RoI Pooling. 10

7.1            RoI Pooling. 10

7.2            RoIWrap Pooling. 11

7.3            RoIAlign Pooling. 11

7.4            Precise RoI Pooling. 12

7.5            總結... 13

8.     雙線插值方法... 13

9.     視覺的Attention機制... 15

9.1            什麼是Attention機制（視覺）？... 15

9.2            Attention機制應用在了哪些地方？... 16

9.2.1 方式一：學習權重分佈... 16

9.2.2 方式二：任務聚焦/解耦... 20

9.3            軟注意力和強注意力機制... 21

9.3.1        空間域（Spatial Domain）... 22

9.4            感想... 24

9.5            CBAM: Convolutional Block Attention Module. 24

9.5.1        概述... 24

9.5.2        Convolutional Block Attention Module. 25

10.            二分類、多分類與多標籤分類的區別與損失函數... 28

10.1基本概念... 28

10.2 分類... 28

10.3 多分類... 29

10.4多標籤分類... 30

11.            Soft-nms. 30

11.1          算法... 30

11.2          NMS與soft-nms對比... 31

11.3          f(iou(M,bi))權重函數的形式... 32

12.            分類論文... 33

12.1          EfficientNet 33

12.1.1      動機... 33

12.1.2      設計與實現... 33

12.1.2.1           單個擴大深度、寬度、分辨率存在問題... 33

12.1.2.2           混合擴展... 34

12.1.2.3           EfficientNet結構... 35

12.1.3      實驗... 36

13.            目標檢測論文... 36

13.1          DetNet 36

13.1.1      動機... 36

13.1.2      挑戰... 37

13.1.3      個人總結... 38

13.2          RRPN+RROI 38

13.2.1      數據預處理... 38

13.2.2      Rotation Anchors. 39

13.2.3      Learning of Rotated Proposal 39

13.2.4      Accurate Proposal Refinement 39

13.2.5      RRoI pooling. 40

13.2.6      放射變換與RRPN中變換區別... 40

13.3          FSAF(anchor-free) 45

13.3.1      網絡結構... 46

13.3.2      anchor-free分支的監督信號... 46

13.3.3      Online Feature Selection. 48

13.3.4      優缺點分析... 48

13.4          SAPD. 48

13.4.1      Anchor-Point Detectors預備知識... 49

13.4.1.1           網絡結構Network architecture. 49

13.4.1.2           監督targets. 50

13.4.1.3           損失函數... 51

13.5          ATSS（anchor）... 51

13.5.1      解決問題... 51

13.5.2      解決方法... 51

13.6          Region Proposal by Guided Anchoring（anchor）... 53

13.6.1      問題... 53

13.6.2      解決方法... 53

13.7          PANet（anchor）... 55

13.8          EfficientDet 56

13.8.1      問題提出... 56

13.8.2      解決方法... 56

13.8.2.1           FPN變化（最近幾年）... 56

13.8.2.2           可變性（backbone、BiFPN、分類和bbox）... 57

13.8.2.3           網絡結構... 58

13.8.3      實驗... 58

13.8.3.1           Backbone和BiFPN提升AP對比... 58

13.8.3.2           FPN、PANet、NAS-FPN、BiFPN對比... 58

13.8.3.3           權重特徵融合（softmax與Fast Normalized Fusion）... 59

13.8.3.4           綜合可變維度... 59

13.9          IOU-net 59

13.9.1      問題提出... 59

13.9.2      問題解決... 60

13.9.3      實驗... 60

14.            目標檢測tricks. 60

14.1          smoothL1 loss不用L1 loss和L2 LOSS. 60

14.2          圖像預處理均值和方差... 62

14.3          訓練WarmUP. 63

14.4          Rethinking ImageNet Pre-training. 65

14.4.1      With/without pre-training. 66

14.4.2      訓練推薦... 68

14.4.3      少量訓練數據對模型影響對比... 69

14.4.4      本文總結... 69

14.5          fine-tuning schedules. 70

14.6          數據增強... 70

14.6.1      CutOut 70

14.6.2      MixUp. 71

14.6.3      CutMix. 71

14.7          標籤平滑Label Smoothing. 71

14.8          卷積正則化方法... 73

14.8.1      Regularization正則化... 73

14.9          GAP（全局平均池化）... 74

15.            小目標檢測... 76

15.1          從圖像或特徵尺度的角度... 76

15.2          從anchor角度... 76

15.3          對於使用ROI Pooling的網絡... 76

15.4          增加小目標數量... 77

15.5          在對小目標的IoU閾值上... 77

15.6          迴歸損失函數上... 78

15.7          小目標的GT. 78

16.            OCR. 78

16.1          OCR樣本生成... 78

16.2          模型... 78

17.            優化問題... 79

17.1          SGD. 79

17.2          Momentum.. 80

17.3          Nesterov Accelerated Gradient 80

17.4          AdaGrad. 82

17.5          RMSProp（Root Mean Square ）... 83

17.6          AdaDelta. 83

17.7          Adam（Adaptive Moment）... 84

17.8          Adamax. 85

17.9          Nadam.. 85

17.10       指數加權平均... 85

17.11       優化算法選擇... 87

18.            激活函數... 88

18.1          ReLU.. 88

18.2          leaky-ReLU.. 88

18.3          parameter-ReLU.. 88

18.4          ReLU6. 89

18.5          SELU.. 89

18.6          Swish. 89

18.7          Mish. 89

19.            Augmentation for small object detection. 89

20.            OHEM（Online Hard Example Ming）... 89

21.            Transformer 90

22.            RPN缺點... 90

23.            目標檢測迴歸損失函數簡介：SmoothL1/IoU/GIoU/DIoU/CIoU Loss. 90

23.1          Smooth L1 Loss. 90

23.2          IoU Loss. 92

23.3          GIoU Loss. 95

23.4          DIoU Loss. 96

23.5          CIoU Loss. 98

24.            Detectron2. 99

24.1          GIOU、CIOU等加入Detectron2. 99

24.2          export caffe2和onnx部署... 99

24.3          Boxes（detectron2自定義）轉化numpy. 99

24.4          RRPN和RIOU.. 99

24.5          可視化（訓練優化）... 99

24.6          體徵可視化... 100

24.7          圖像金字塔detectron2中使用... 100

24.8          detectron2加載數據格式... 100

24.9          detectron2安裝windows. 100

24.10       pytorch unitTest 101

24.11       求圖像均值和方差... 102

24.12       Warmup LR. 102

24.13       Test time augmentation. 103

24.14       讀代碼記錄... 103

24.14.1             RPN記錄... 103

25.            YoloV4. 104

25.1          YoloV4原理... 104

25.1.1      Yolov3中SPP. 104

25.1.2      YoloV4理解導圖... 107

25.1.3      Bag of freebies. 107

25.1.4      Bag of specials. 107

25.2          YoloV4方法... 108

25.2.1      框架選擇... 108

25.2.2      BOS和BOF選擇... 108

25.2.3      另外提升... 108

25.3          Windows環境... 108

25.4          網絡... 111

26.            Py-faster-RCNN.. 111

26.1          RPN實現... 111

28.            評價指標... 113

28.1          綜合評價指標（F-Measure）... 113

29.            Fine-tuning. 113

30.            偏差與方差... 114

30.1          偏差與方差定義... 114

30.2          偏差與方差的關係... 114

31.            再論卷積... 117