原创 機器學習面試必知：Adaboost算法的精確形式
初始化數據加權係數wn=1/Nw_{n}=1/Nwn=1/N 對於m=1,...,Mm=1,...,Mm=1,...,M 使用訓練數據調節一個分類器ym(x)y_{m}(x)ym(x),調節的目標是最小化加權的誤差函數Jm
2020-06-14 14:03:58
1
原创 機器學習面試必知：理解L1與L2正則化
需要最小化的總的誤差函數爲ED(w)+λEW(w)E_{D}(w)+\lambda E_{W}(w)ED(w)+λEW(w)前面的一項是我們一般所說的損失函數，後一項是正則化項。一般有 L1正則化：EW(w)=∣∣w∣∣1E
2020-06-14 14:03:48
1
原创 機器學習面試必知：簡單易懂的邏輯迴歸
假設有數據集{(x1,t1),...,(xn,tn)}\left \{ (x_{1},t_{1}),...,(x_{n},t_{n}) \right \}{(x1,t1),...,(xn,tn)} ϕn=ϕ(xn)\ph
2020-06-14 14:03:48
原创 機器學習面試必知：偏差-方差分析
過擬合形象確實是最大似然方法的一個不好的性質，但我們在使用貝葉斯方法對參數進行求和或者積分時，過擬合不會出現。迴歸線性模型中的最小平方方法也同樣會產生過擬合。雖然引入正則化可以控制具有多個參數的模型的過擬合問題，但是這也會產生一
2020-06-14 14:03:48
原创 機器學習面試必知：集成學習之Bagging,Boosting與Stacking
集成學習是一大類模型融合策略和方法的統稱，其中包含多種集成學習的思想。主要有Bagging與Boosting，當然還有Stacking。 Boosting Boosting的過程很類似於人類學習的過程，我們會對錯誤的地方反覆鞏
2020-06-14 14:03:48
1
原创 機器學習面試必知：一文理解支持向量機(SVM)
1. 首先我們要是決策距離最大化 我們先來求點xxx到一個超平面f(x)=wTx+bf(x)=w^{T}x+bf(x)=wTx+b的距離： 假設有一點xxx，垂直投影到超平面上對應點爲x0x_{0}x0, www是垂直於超平
2020-06-14 14:03:48
原创 機器學習面試必知：學生t分佈的神奇之處
Gamma分佈 Gam(λ∣a,b)=1Γ(a)baλa−1exp(−bλ)Gam(\lambda |a,b)=\frac{1}{\Gamma (a)}b^{a}\lambda ^{a-1}exp(-b\lambda)Gam(λ
2020-06-14 14:03:47
原创 機器學習面試必知：DBSCAN
與傳統的Kmeans相比，DBSCAN最大的不同就是不需要輸入類別數k，最大的優勢是可以發現任意形狀的聚類簇。如果數據是稠密的，並且數據集不是凸的，那麼DBSCAN就比Kmeans好用很多，如果數據不是稠密的，則不推薦用DBSCAN
2019-04-24 05:42:12
原创 機器學習面試必知：推薦算法FM
傳統的線性模型如LR中，每個特徵都是獨立的，如果需要特徵與特徵直接的交互作用，需要人工對特徵進行交叉組合，例如核方法。但是在特徵高度稀疏的情況下，並不能很好地進行學習。 很多分解模型Factorization model如矩陣分解M
2019-04-21 11:29:34
原创 機器學習面試必知：SVM怎麼擴展到多分類問題
1.類似建立二叉樹的過程，每個葉子結點就是一個類別，這樣成功地將二分類轉化爲多分類 2.一對剩餘方法，將一類標記爲正樣本其餘的類都標記爲負樣本來訓練SVM，這樣不斷迭代進行就能轉換爲多分類問題。
2019-04-21 11:29:04
原创 抽藍球紅球，藍結束紅放回繼續，平均結束遊戲抽取次
假設藍x個，紅y個，那麼p1=xx+y,p2=yx+yp_{1}=\frac{x}{x+y},p_{2}=\frac{y}{x+y}p1=x+yx,p2=x+yy 次數爲1∗p1+2∗p2∗p1+...+n∗p2n−1p11*
2019-04-18 01:18:05
14
原创 生成模型與判別模型
判別模型：學習決策函數或者條件概率分佈。直觀來說學習的是類別之間的最優分隔面，反映的是不同類數據之間的差異 優點：直接面對預測，準確率往往很高。由於直接學習的是p(y|x)或者f(x),可以對數據進行各種程度的抽象，定義特徵並使用特
2019-04-11 01:17:06
1
原创 機器學習面試必知：貝葉斯原理
先總結下頻率派與貝葉斯派各自不同的思考方式： ～頻率派把未知參數θ\thetaθ當作是固定的未知常數。樣本X是隨機的，重點研究的是樣本空間，大部分的計算也是針對樣本X的分佈 ～貝葉斯派截然相反，認爲θ\thetaθ是隨機變量，樣本X
2019-03-27 01:18:04
原创 機器學習面試必知：核技巧
許多線性模型可以轉化爲一個等價的對偶表示。對偶表示中，預測的基礎也是在訓練數據點處計算的核函數的線性組合。對於基於固定的非線性特徵空間映射ϕ(x)\phi(x)ϕ(x)的模型來說，核函數由下面的關係給出k(x,x′)=ϕ(x)Tϕ(
2019-03-15 00:46:13