深度學習的一些感悟記錄

深度學習的一些感悟記錄

最近閱讀王戈教授(Ge Wang,PhD,IEEE Fellow)的文章A perspective on deep imaging,文中主要着墨於深度學習在data-to-image的過程,提出了對深度學習原理的一些想法,因此我也有一些感悟記錄。

背景:

從最早的人工神經網絡的提出,人類藉助自然中神經元的連接和發放規律,提出了人工神經元的概念。MLP協助人類解決了初級的模式識別問題,隨着卷積的引入,以及更大數據量,更好的計算力,更多樣的神經網絡結構,更聰慧的初始化方式。深度學習很快席捲了整個學術界。
通過一系列的參數設計,以CNN爲代表的深度學習模型取得了令人驚異的效果。通過各種非線性的激活函數,dropout的引入,擺脫了本需要對data深度理解的模式識別方式,先驗知識的需求大大降低(仍可以通過在初始化過程中引入先驗知識以方便訓練,減少局部最優的可能性)。

感悟:

多層CNN的構建,就是通過多級形式的卷積進行特徵提取,這裏的所謂特徵就是通過一系列非線性變換後得到的數據模式,也就是每層所得到的feature map。針對問題設計一定的深度學習結構,就是通過設計結構來獲得可以勝任任務的feature map,如果任務爲分類,那麼就是通過一系列 變換將原來數據提取到某一個feature map上,使得在這個map中不同類別的圖像投影結果,可以通過簡單的低維度長向量區分開來(常見爲一維長向量 ,如one-hot編碼的標籤),即可實現對圖像的分類工作。
設計多層的卷積結構得到適合的feature map,是一個困難問題,由於沒有先驗知識指導,在針對特定任務時,無法直接給出一個固有範式來推出最佳feature map,因此常使用較複雜的模型來進行特徵提取,隨後逐漸減少模型複雜度,如加入懲罰項,減少層數等手段,來是模型提出的feature map能夠和任務相契合。另外遷移模型也是尋找合適網絡結構的一個思路,通過對現存的well-trained的網絡模型進行遷移學習,在訓練上可以加速尋找更適合的網絡結構。

總結:

深度學習就是通過一系列多層的非線性變換對原始數據進行特徵提取,經過一定結構的網絡,可以生成契合任務要求的feature map,以方便任務在某一數據空間中,可以被區分/識別等。利用數據來不斷更迭各層參數以實現更好的map來實現任務。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章