“人生最痛苦的事情,不是我不行,而是我本可以”。
- --- ----- --- -------- ------- -------- --------- - --------- ---
閱讀目錄https://www.jianshu.com/nb/21403842
2019-08-27[46h] 機器學習\AI應用方向主要有:推薦\文本\語音\圖像\機器人\無人駕駛,後續關注推薦系統,主要看微信公衆號“小小挖掘機"文章(簡書:"文哥的學習日記",推薦相關文章共60+篇,一天1篇得看2個月)
2019-08-26[48h] "動態訓練"、"應用示例" # 完成 "機器學習簡單課程"
2019-08-23[44h] "Embedding"、
2019-08-22[40h] "訓練神經網絡"、 交叉熵損失函數、梯度不穩定、ReLU激活函數、候選採樣、"多類別神經網絡"
2019-08-21[36h] "正則化:稀疏性"、"神經網絡簡介"
2019-08-20[32h] "正則化:簡單性" 、"邏輯迴歸"、"分類"
2019-08-19[28h] "特徵組合",from_tensor_slices
2019-08-16[24h] “泛化”、"訓練集和測試集"、"驗證"、"表示法"
相關概念其實和統計專業課程裏學的一樣,只是tensorflow的接口需要熟悉一下
2019-08-15[20h] 完成“降低損失”、"tensorflow基本步驟"練習
2019-08-14[15h] 2.4 mnist-vanillaRNN , conv2d卷積接口,padding邊界,max_pool池化接口
擴充閱讀:注意力模型 ,卷積核個數、大小、層數決定, Dropout, Targeted Dropout,
2019-08-13[10h] 刷網站教程 ,跑了2.3 mnist入門、進階
http://www.tensorfly.cn/tfdoc/tutorials/mnist_pros.html (https://tensorflow.google.cn/guide)
2019-08-12[8h] 在本機(windows10)上安裝了tensorflow(cpu版),cpu版直接pip安裝,再調整了一下numpy版本,除了AVX2不能使用運行慢一點,沒其他什麼問題;按csdn上的博客文章跑手寫數字識別,測試集效果很好,自己下了幾個圖片識別很差,原因未知。
2019-08-06[5h] 在微信上打開"喜馬拉雅"小程序,聽機器學習的普及文章。瞭解了反向傳播。
查閱網上資料,瞭解反向傳播 https://www.cnblogs.com/yanshw/p/10461330.html
梯度消失:(1)隱藏層的層數過多;(2)採用了不合適的激活函數(更容易產生梯度消失,但是也有可能產生梯度爆炸)
梯度爆炸:(1)隱藏層的層數過多;(2)權重的初始化值過大
sigmold改爲relu,避免梯度消失;添加正則項,避免梯度爆炸;
2019-08-05[2h]今天開始看書。AI、神經網絡啥都不懂啊