原创 數學之美閱讀筆記（1）
大一的時候就開始看吳軍博士第一版的《數學之美》，苦於那時年少無知不懂事，加上自身數學知識的體系不健全，翻着翻着也就沒有了後文。現在讀了研究僧，也許是換了個視野，看到書的開頭“中國教育最失敗的就是學生從上課的第一天到考試結束，都不知道學的東
2018-09-01 22:57:23
5
原创 矩陣理論基礎知識（2）--常見的幾種矩陣分解方式
（1）LU分解 矩陣的LU分解是將一個矩陣分解爲一個下三角矩陣與上三角矩陣的乘積，LU分解主要應用在數值分析中，用來解線性方程、求逆矩陣或計算行列式。本質上，LU分解是高斯消元的一種表達方式。首先對矩陣A通過初等行變換將其變爲一個上三角矩
2018-09-01 22:57:23
原创 周志華《Machine Learning》學習筆記（16）--概率圖模型
上篇主要介紹了半監督學習，首先從如何利用未標記樣本所蘊含的分佈信息出發，引入了半監督學習的基本概念，即訓練數據同時包含有標記樣本和未標記樣本的學習方法；接着分別介紹了幾種常見的半監督學習方法：生成式方法基於對數據分佈的假設，利用未標記樣本
2018-09-01 22:57:23
原创 【轉】主成分分析（PCA）原理解析
本文轉載於 http://www.cnblogs.com/jerrylead/archive/2011/04/18/2020209.html 主成分分析（Principal components analysis）-最大方差解釋
2018-09-01 22:57:22
原创 Latex數學公式表
1. Latex的兩種公式模式 行間(inline)模式：即在正文中插入數學內容。行間公式用$ … $ 獨立(display)模式：獨立成行，可以有或沒有編號。無編號用\ [ … \ ] 2.基本元素 希臘字母 標註
2018-09-01 22:57:22
1
原创 【轉】常見向量範數和矩陣範數
1、向量範數 1-範數：，即向量元素絕對值之和，matlab調用函數norm(x, 1) 。 2-範數：，Euclid範數（歐幾里得範數，常用計算向量長度），即向量元素絕對值的平方和再開方，matlab調用函數norm(x, 2)。
2018-09-01 22:57:22
5
原创 矩陣理論基礎知識（1）--特徵值與特徵向量
之所以想起來總結這部分的知識，也是由於目前學習的機器學習算法中，矩陣論/矩陣分析呈刷屏似的出現，而之前本科階段的高等代數中，總是隻知道有這麼個東西，也初略知道怎麼計算，但不知道其中的真正含義，因此這兩天決定將這塊知識彙總下，知其然也知其所
2018-09-01 22:57:21
9
原创 周志華《Machine Learning》學習筆記（9）--EM算法
上篇主要介紹了貝葉斯分類器，從貝葉斯公式到貝葉斯決策論，再到通過極大似然法估計類條件概率，貝葉斯分類器的訓練就是參數估計的過程。樸素貝葉斯則是“屬性條件獨立性假設”下的特例，它避免了假設屬性聯合分佈過於經驗性和訓練集不足引起參數估計較大偏
2018-09-01 22:57:21
3
原创 周志華《Machine Learning》學習筆記（17）--強化學習
上篇主要介紹了概率圖模型，首先從生成式模型與判別式模型的定義出發，引出了概率圖模型的基本概念，即利用圖結構來表達變量之間的依賴關係；接着分別介紹了隱馬爾可夫模型、馬爾可夫隨機場、條件隨機場、精確推斷方法以及LDA話題模型：HMM主要圍繞着
2018-09-01 22:57:20
原创 周志華《Machine Learning》學習筆記（8）--貝葉斯分類器
上篇主要介紹和討論了支持向量機。從最初的分類函數，通過最大化分類間隔，max(1/||w||)，min(1/2||w||^2)，凸二次規劃，朗格朗日函數，對偶問題，一直到最後的SMO算法求解，都爲尋找一個最優解。接着引入核函數將低維空間映
2018-09-01 22:57:20
原创 數學之美閱讀筆記（2）
延續上一篇內容，《數學之美》這本書我想吳軍博士的初衷是非科班也能讀懂，書中對數學知識的解釋極爲詳細，所以我只將書中的核心思想抽取出來，方便今後很容易Get到點，有些篇章爲介紹性文字，我也把重要的雞湯拿出來喝一喝，爲了將篇幅控制在可讀範圍內
2018-09-01 22:57:20
3
原创 周志華《Machine Learning》學習筆記（12）--降維與度量學習
上篇主要介紹了幾種常用的聚類算法，首先從距離度量與性能評估出發，列舉了常見的距離計算公式與聚類評價指標，接着分別討論了K-Means、LVQ、高斯混合聚類、密度聚類以及層次聚類算法。K-Means與LVQ都試圖以類簇中心作爲原型指導聚類，
2018-09-01 22:57:20
原创 GBDT&GBRT與XGBoost
在看清華學霸版《Python大戰機器學習》的過程中，集成學習章節中出現了兩個新的名詞：GBDT&GBRT，也許是西瓜書定位於全面，而沒有拘泥於細節。後來科普發現，這兩個東西和陳天奇大神的XGBoost緊密相連，於是估摸着花時間弄懂這兩個東
2018-09-01 22:57:20
7
原创 周志華《Machine Learning》學習筆記（14）--計算學習理論
上篇主要介紹了常用的特徵選擇方法及稀疏學習。首先從相關/無關特徵出發引出了特徵選擇的基本概念，接着分別介紹了子集搜索與評價、過濾式、包裹式以及嵌入式四種類型的特徵選擇方法。子集搜索與評價使用的是一種優中生優的貪婪算法，即每次從候選特徵子集
2018-09-01 22:57:20
原创 周志華《Machine Learning》學習筆記（15）--半監督學習
上篇主要介紹了機器學習的理論基礎，首先從獨立同分布引入泛化誤差與經驗誤差，接着介紹了PAC可學習的基本概念，即以較大的概率學習出與目標概念近似的假設（泛化誤差滿足預設上限），對於有限假設空間：（1）可分情形時，假設空間都是PAC可學習的，
2018-09-01 22:57:20