感知機perceptron
k近鄰法k-nearest neighbor
樸素貝葉斯法naive Bayes
決策樹decision tree 決策樹缺失值處理方法
邏輯斯諦迴歸與最大熵模型logistic regression/maximum entropy model
支持向量機support vector machines
提升方法boosting
EM算法expection maximization
隱馬爾可夫模型hidden Markov model
條件隨機場conditional random field（待整理）
聚類算法
XGBoost原理及公式推導(參考官網文檔)
模型評估與選擇
一、最小二乘法和最大似然估計 最小二乘法可以從Cost/Loss function角度去想，這是統計（機器）學習裏面一個重要概念，一般建立模型就是讓loss function最小，而最小二乘法可以認爲是 loss function = （
問題背景 機器學習建模分類問題裏，各個類別樣本量差異較大時，就會出現類別不均衡問題。e.g.如果有99999個無症狀病例，1個有症狀病例，即使訓練的學習器將所有樣本識別成無症狀病例，準確率也高達99.9%；但是這樣的學習器沒有任何
前饋神經網絡，BP算法 NN/BP 卷積神經網絡(Convolutional Neural Network, CNN) 循環神經網絡(Recurrent Neural Network, RNN)與LSTM RNN/LSTM 深度前
這個屬於香農信息論中的東西，在《PRML》書中1.6 信息論小節中有具體說明。真正碰到應用還是在洛桑聯邦理工的POM文章中（概率佔用圖）。作者使用自己產生的估計Q來去逼近未知分佈P，其中P是一個後驗概率分佈。這篇博文旨在明確KL散度的定義
一切都要從2019年9月的那個秋天講起，林野哥向我推薦了這篇洛桑聯邦理工的2008年TPAMI論文，於是一個半月的時間都花在了這上面。Multi-Camera People Tracking with a Probabilistic O
最優化學到了最優化條件部分，由於自己的數學功底實在是太差，啃得很慢。今天下午終於對“約束極值問題的最優性條件”部分有了相對宏觀的視角，所以記錄下來以備後用。 【必要條件】：如果已經知道了是最優解，那麼它一定滿足的條件。最優化中通常都
本博文內容參考了北卡羅來納大學教堂山分校的文章 An Introduction to the Kalman Filter。 目錄 一、Kalman Filter簡介 二、估計與觀測過程 三、KF的計算起源（Computational O
讀寫鎖是共享獨佔鎖。 讀鎖是共享鎖：讀的同時不能寫，但同時可以多個進程一起讀。 寫鎖是獨佔鎖：同時只能有一個進程進行寫。 利用庫函數 寫模式： pthread_rwlock_wrlock(&rwlock); //加寫鎖 寫
