原创 西瓜書第五章總結
西瓜書第五章總結前向傳播與反向傳播激活函數BP神經網絡算法實現參考 前向傳播與反向傳播 神經網絡包括輸入層、隱藏層、輸出層 前向傳播即首先隨機初始化權重，然後由輸入層向前進行計算，得到輸出層結果。反向傳播即通過輸出層結果與預期
2020-05-31 05:45:33
原创 CRF++學習及總結
CRF++學習及總結CRF++原理訓練文件&測試文件格式模板文件CRF++使用使用命令輸出內容模型格式文件頭標籤模板特徵函數特徵函數權值參考文獻 CRF++原理 訓練文件&測試文件格式 文件中每一行中的每一列通過空格或者製表符\t
2020-04-17 06:59:26
原创 LSTM學習筆記
LSTM學習筆記LSTM簡介1.LSTM簡介LSTM分析LSTM分析多層LSTM參考文獻 LSTM簡介 1.LSTM簡介 LSTM(Long Short-Term Memory)網絡是循環神經網絡的一個變體，是一種時間序列循環神
2020-03-14 23:04:45
原创 條件隨機場詳細推導
條件隨機場條件隨機場簡介1.條件隨機場簡介條件隨機場舉例2.條件隨機場舉例條件隨機場三個基本問題及推導3.條件隨機場三個基本問題及推導參考文獻 條件隨機場簡介 1.條件隨機場簡介 馬爾可夫隨機場：設有聯合概率分佈P(Y)，由無向圖
2020-02-25 08:34:36
原创 EM算法詳細推導
EM算法詳細推導EM算法簡介1.EM算法簡介EM算法推導2.EM算法推導EM算法舉例3.EM算法舉例EM算法收斂性證明4.EM算法收斂性證明一點小思考5.一點小思考參考文獻 EM算法簡介 1.EM算法簡介 概率模型有時既含有觀測變
2020-02-23 17:42:14
1
原创 隱馬爾可夫模型詳細推導
隱馬爾可夫模型詳細推導隱馬爾可夫模型簡介1.隱馬爾可夫模型簡介隱馬爾可夫模型舉例2.隱馬爾可夫模型舉例隱馬爾可夫三個基本問題及推導3.隱馬爾可夫三個基本問題推導隱馬爾可夫模型應用領域4.隱馬爾可夫模型應用參考文獻 隱馬爾可夫模型簡
2020-02-23 17:42:14
原创 西瓜書第四章總結
西瓜書第四章總結1.樹的劃分流程2. 樹的劃分選擇3.如何對抗過擬合4.如何處理連續值與缺失值CART分類樹與迴歸樹原理參考 1.樹的劃分流程 2. 樹的劃分選擇 樹的劃分選擇也即如何選擇最優劃分屬性 常用三種劃分規則：信息增益
2019-06-11 02:06:48
1
原创 西瓜書第六章總結
西瓜書第六章總結SVM介紹線性SVM算法的數學建模參考 SVM介紹 SVM的全稱是Support Vector Machine，即支持向量機，主要用於解決模式識別領域中的數據分類問題，屬於有監督學習算法的一種.基本思想是找到一個
2019-06-11 02:06:48
1
原创 西瓜書第一章總結
西瓜書第一章總結1.版本空間2.沒有免費的午餐定理參考文獻 1.版本空間 在對假設空間進行搜索的過程中，不斷的刪除與正例不一致的假設以及與反例一致的假設，最終會獲得與訓練集一致的假設，由於現實問題中常常面臨很大的假設空間，而學習過程
2019-05-12 23:27:50
原创 西瓜書第三章總結
西瓜書第三章總結1. 線性迴歸線性迴歸損失函數、代價函數、目標函數2.邏輯迴歸邏輯迴歸損失函數3.正則化4.線性判別分析(LDA)5.多分類學習6.類別不平衡問題參考 1. 線性迴歸 線性迴歸試圖學得一個線性模型來儘可能準確地預測樣
2019-05-12 23:27:49
原创 XGB算法梳理
文章目錄算法原理損失函數分裂算法正則化對缺失值的處理優缺點 算法原理 XGBoost是boosting算法的其中一種。Boosting算法的思想是將許多弱分類器集成在一起形成一個強分類器。因爲XGBoost是一種提升樹模型，所以它是
2019-04-10 22:03:23
原创 GBDT算法梳理
GBDT算法梳理前向分步算法負梯度擬合損失函數迴歸二分類、多分類正則化優缺點sklearn參數應用場景參考 前向分步算法 考慮加法模型 其中，b(x,γm)爲基函數，γm爲基函數的參數，βm爲基函數的係數。在給定訓練數據及損失函數L
2019-04-06 23:58:27
原创 隨機森林算法梳理
文章目錄集成學習的概念個體學習器的概念boosting和bagging結合策略（平均法，投票法，學習法）隨機森林思想隨機森林的推廣優缺點sklearn參數應用場景 集成學習的概念 集成學習通過構建並結合多個學習器來完成學習任務。即先
2019-04-04 22:14:44
原创 Adaboost算法詳細推導
文章目錄Boosting概念Adaboost介紹及推導 Boosting概念 Boosting是一族可將弱學習器提升爲強學習器的算法。其工作機制類似於：先從初始數據集中訓練出一個基學習器，再根據基學習器的表現對樣本的分佈進行調整，使
2019-03-31 21:53:28
原创 決策樹算法梳理
文章目錄1.信息論基礎2.決策樹的不同分類算法（ID3算法，C4.5,CART分類樹）的原理及應用場景3.迴歸樹原理4.決策樹防止過擬合手段5.模型評估sklearn參數詳解，Python繪製決策樹 1.信息論基礎 1)熵：在信息論
2019-03-06 15:35:05