原创 【深度學習】AlexNet CIFAR-10從70%到86%：CNN調參經驗總結
前言 最近課程實驗是使用AlexNet訓練CIFAR-10，並在驗證集上驗證。而AlexNet出現與2012年，模型結構也比較簡單，在準確率方面與當今流行的網絡肯定沒法比，所以想要達到更改的準確率還是需要很多額外的改進。最終從70
2020-05-02 10:06:23
271
原创 【深度學習】常用的學習率衰減算法的介紹與選擇
前言 模型準確率的提高除了模型本身的設計學習的過程也十分重要，好的學習過程可以讓模型更快更好地趨近於最優。而學習過程中除了學習算法，學習率的控制也尤爲重要，固定值的學習率很容易最終不斷振盪，無法實現收斂。本文主要整理介紹一些學習率
2020-05-02 10:06:23
原创 【深度學習】經典卷積神經網絡（九）SENet
介紹 SENet是ImageNet 2017的冠軍，全稱爲Squeeze-and-Excitation Networks。它將注意力機制通過space與channel兩個角度進行了進一步的拓展，並結合了一些比較成熟的網路設計思路，
2020-05-01 00:08:57
原创 【深度學習】經典卷積神經網絡（八）DenseNet
介紹 DenseNet發表在2017年的CVPR上，並獲得了當時的best paper。ResNet的出現使模型可以變得更深，通過建立前面層與後面層之間的shortcut提高模型的性能。DenseNet將ResNet與跨層連接的思
2020-05-01 00:08:57
原创 【深度學習】卷積神經網絡中的代表性操作
前言 AlexNet的提出標誌着卷積神經網絡的再一次興起，隨後出現了很多各式各樣的卷積神經網絡，每種都有自己的創新之處。這裏根據一篇比較好的文章對一些代表操作進行總結，並提出一些自己的想法，總結其中一些創新的思路，以供參考與學習。
2020-05-01 00:08:57
原创 【深度學習】經典卷積神經網絡（一）LeNet-5
前言 爲了能更好地指導卷積神經網絡的設計，本系列將逐步學習一些經典的卷積神經網絡模型。從一些比較古老的例如LeNet到比較新的例如SENet、UNet，從它們的設計中尋找思路，這將在各類問題卷積神經網絡的設計都有參考價值。這類文章
2020-05-01 00:08:57
原创 【深度學習】經典卷積神經網絡（三）ZFNet
簡介 這篇論文是在AlexNet的基礎上做了細微的改動，總的結構沒有太大突破，其主要貢獻是通過可視化揭示了神經網絡各層的作用。這一點也是非常重要的，如果不知道原理只能盲目的進行網絡設計與調參。 論文：《Visualizing an
2020-05-01 00:08:57
原创 【深度學習】經典卷積神經網絡（二）AlexNet
簡介 上一篇文章中介紹的LeNet是幾乎第一個典型的CNN，但後來經過一段時間沉寂，這些年真正再次流行起CNN還是從2012年的AlexNet開始。作者是著名的Hinton與他的學生Alex Krizhevsky，奪得了2012年
2020-05-01 00:08:57
原创 【深度學習】經典卷積神經網絡（七）ResNet
介紹 ResNet幾乎是現在應用最廣泛的特徵提取網絡，於2015年由何愷明等人提出拿到了ImageNet的冠軍，並且發表在2016年的CVPR上，現在針對各種問題也衍生了很多新的網絡。很多經典的網絡也通過借鑑其思想在效果上得到了提
2020-05-01 00:08:57
原创 【深度學習】卷積神經網絡中Dropout、BatchNorm的位置選擇
前言 卷積神經網絡的設計自然要考慮到各層之間的順序。這種“考慮”既有原理性的解釋也有經驗方面的原因。本文主要介紹一些層常見的位置選擇，並對其原因進行分析，從中提取共性有利於其他模型的設計。 Dropout層的位置 Dropout一
2020-05-01 00:08:57
原创 【深度學習】經典卷積神經網絡（四）VGGNet
簡介 VGG是Oxford的Visual Geometry Group的組提出的模型結構，分爲VGG16和VGG19，證明了增加網絡的深度能夠在一定程度上影響網絡最終的性能。可以發現，其設計落實了ZFNet的很多想法，並獲得了Im
2020-05-01 00:08:57
原创 【深度學習】經典卷積神經網絡（五）GoogLeNet
介紹 GoogLeNet是2014年ImageNet的冠軍，亞軍是著名的VGG。兩類模型共同的特點是更深了。VGG繼承了AlexNet的很多思想，而GoogLeNet在結構上則有了大膽的嘗試。雖然深度增加了，但其參數量只是Alex
2020-05-01 00:08:57
原创 【深度學習】經典卷積神經網絡（六）U-Net
介紹 U-Net於2015年提出，廣泛用於圖像分割問題。其初是專門爲醫學圖像分割而設計的。該方法取得了良好的效果，並在以後的許多領域得到了應用。相對於很多其他語義分割網絡，其規模較小，所以也可以用於一些實時的任務。 結構 這個結
2020-05-01 00:08:57
原创 【深度學習】深度學習模型訓練的tricks總結
前言 得到更改的準確率模型的設計自然是重要，而使用一些數據處理和訓練的技巧也能提高最終模型的訓練效果，因此也十分重要。本文基於對一些資料的閱讀總結一些模型訓練常見的trick，能夠更快地擬合以及在一定程度上提升模型效果。 學習率角
2020-05-01 00:08:57
原创 【深度學習】常見的代價函數的理解與選擇
前言 代價函數決定着模型訓練的方向，而優化方法也是建立在代價函數的基礎上的。而不同的問題往往有不同的代價函數，這裏最一些比較常見的代價函數進行總結，也供模型設計的時候予以參考。 在這之前首先做一個區分： 損失函數（Loss Fun
2020-04-26 12:32:45