CS231n課程大家都很熟悉了,深度學習入門必備課程。這裏就不多介紹了,只對課程資源進行歸納彙總,分享一下自己學習該課程後完成的作業,以供一起學習的同學們參考、交流。由於該課程的課件較爲精煉,沒有長篇大論,且知乎有全套的課件翻譯,因此這裏暫不對該課程知識點進行歸納總結,後續學習中如果有需要提煉的地方會對本文進行更新。
課程資源
課程地址:http://cs231n.stanford.edu/
課程視頻(EN, Spring 2017):https://www.youtube.com/playlist?list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv
課程地址(CN, Spring 2017):http://www.mooc.ai/course/268
知乎課件翻譯地址(Winter 2016):https://zhuanlan.zhihu.com/p/22339097
課程作業
我在學習這門課程的時候,作業是從課程官網下載的,因此版本是Spring 2018。相較於之前的作業版本,Spring 2018 Assignment 2 中新加入了Layer Normalization和Group Normalization的內容以及PyTorch和Tensorflow的相關練習。
Assignments還在更新中,目前Assignments 2已經完成,後續會繼續更新Assignments 3。課程Assignments詳見:https://github.com/KunBB/cs231n_assignment
課程小結
Lecture 1 ~ Lecture 7
見知乎的翻譯課件,或是CS231n官網的英文課件;
Lecture 8
主要講解了一些主流的深度學習框架、PyTorch和Tensorflow的基本使用流程等,這部分內容通過完成最新的Assignment 2中的PyTorch或Tensorflow就差不多可以掌握了。
Lecture 9
Lecture 9主要講了一些經典的、比較流行的網絡結構,詳細講解了AlexNet、ZFNet、VGGNet、GoogleNet和ResNet。
Lecture 10
Lecture 10主要講解了循環神經網絡模型的結構、前向傳播與反向傳播,並由此引出了Attention機制、LSTM(長短期記憶網絡)等,除此之外還介紹了圖像標註、視覺問答等前沿問題。
Lecture 11
Lecture 11主要講解的是分割、定位與檢測。具體包括語義分割、分類定位、目標檢測和實例分割四部分。
Lecture 12
Lecture 12主要講解的是對卷積神經網絡的可視化和解釋性的研究,從網絡層的特徵可視化開始到基於梯度提升方法的特徵匹配、特徵反演,進而衍生出紋理合成、圖像生成和風格轉移等。
Lecture 13
Lecture 13主要講解了無監督模型和生成模型,其中詳細介紹了生成模型中的pixelRNN、pixelCNN、VAE、GAN等圖像生成方法。
Lecture 14
Lecture 14主要講解了強化學習的相關知識,介紹了馬爾科夫決策過程、Q-learning、策略梯度和Actor-Critic Algorithm等。
Lecture 15
Lecture 15主要從算法和硬件兩個層面講解了模型壓縮和優化等問題,以實現深度學習模型的體積減少、參數數量縮減、計算量減少、計算加速等。
Lecture 16
Lecture 16主要講解了什麼是對抗樣本,爲何會發生,它們是如何破壞機器學習系統的,如何防禦它們,如何利用它們來提高機器學習性能,即使沒有對抗樣本。
本博客與https://xuyunkun.com同步更新