原创 Pytorch學習筆記 Task2.1 numpy和pytorch實現梯度下降法

文章目錄2.1 numpy 實現梯度下降法2.2 pytorch 實現梯度下降法 2.1 numpy 實現梯度下降法 import numpy as np # N是批次的大小,D_in爲輸入維度,H爲隱藏層維度,D_out爲輸出

原创 梯度下降及優化算法

文章目錄1. 梯度下降算法1.1 全量梯度下降(Batch gradient descent)1.2 隨機梯度下降(Stochastic gradient descent) SGD1.3 小批量梯度下降(Mini-batch gr

原创 KNN(k-NearestNeighbor) K最近鄰分類算法

文章目錄1. 介紹2. 流程3. 優點4. 缺點5. K的取值6. 總結7. KNN vs K-Means8. 筆試題相關9. 參考資料 1. 介紹 鄰近算法,或者說K最近鄰(kNN,k-NearestNeighbor)分類算法是

原创 K-Means算法

文章目錄1. 介紹2. 流程3. 優點4. 缺點5. KNN vs K-Means6. 筆試題相關7. 參考資料 1. 介紹 K-Means算法是無監督的聚類方法,其思想很簡單,對於給定的樣本集,按照樣本之間的距離大小,將樣本集劃

原创 Pytorch學習筆記 Task2.2 pytorch實現線性迴歸

線性迴歸能夠用一個直線較爲精準的描述數據之間的關係。當新的數據出現的時候,就能夠預測出一個簡單的值。 1 pytorch 實現線性迴歸 from torch.autograd import Variable from torch.

原创 Pytorch學習筆記 Task4 實現多層網絡

1.引入模塊,讀取數據 2.構建計算圖(構建網絡模型) 3.損失函數與優化器 4.開始訓練模型 5.對訓練的模型預測結果進行評估

原创 Pytorch學習筆記 Task7 實現手寫數字識別

用PyTorch完成手寫數字識別

原创 Pytorch學習筆記 Task6 理解更多神經網絡優化方法

1.瞭解不同優化器 2.書寫優化器代碼 3.Momentum 4.二維優化,隨機梯度下降法進行優化實現 5.Ada自適應梯度調節法 6.RMSProp 7.Adam 8.PyTorch種優化器選擇

原创 Pytorch學習筆記 Task5 實現L1,L2正則化以及Dropout

1.瞭解知道Dropout原理 2.用代碼實現正則化(L1、L2、Dropout) 3.Dropout的numpy實現 4.PyTorch中實現dropout 5.參考資料:PyTorch 中文文檔

原创 NLP論文研讀 Task1 ELMO

研究動機,研究方法,實驗結果,創新點,個人點評 ELMO 是 Embeddings from Language Models 的縮寫,即語言模型的詞向量表示,也是利用了深度上下文單詞表徵,該模型的優點: (1)能夠處理單詞用法中的

原创 高級算法梳理 Task3 XGB

文章目錄1. XGB簡介2. XGB基礎2.1 迴歸樹與決策樹2.2 集成思想3. XGB算法原理4. 損失函數5. 分裂結點算法5.1 貪心算法(exact greedy algorithm)5.2 近似算法(approxima

原创 初級算法梳理 Task3 決策樹

信息論基礎(熵 聯合熵 條件熵 信息增益 基尼不純度) 2.決策樹的不同分類算法(ID3算法、C4.5、CART分類樹)的原理及應用場景 迴歸樹原理 決策樹防止過擬合手段 模型評估 sklearn參數詳解,Python繪製決策樹

原创 NLP基礎 Task2 特徵提取

基本文本處理技能 1.1 分詞的概念(分詞的正向最大、逆向最大、雙向最大匹配法); 1.2 詞、字符頻率統計;(可以使用Python中的collections.Counter模塊,也可以自己尋找其他好用的庫) 概念 2.1

原创 Pytorch學習筆記 Task3 實現Logistic regression

PyTorch實現Logistic regression 1.PyTorch基礎實現代碼 2.用PyTorch類實現Logistic regression,torch.nn.module寫網絡結構

原创 初級算法梳理 Task2 邏輯迴歸

【任務2 - 邏輯迴歸算法梳理】 1、邏輯迴歸與線性迴歸的聯繫與區別 2、 邏輯迴歸的原理 3、邏輯迴歸損失函數推導及優化 4、 正則化與模型評估指標 5、邏輯迴歸的優缺點 6、樣本不均衡問題解決辦法 7. sklearn參數