原创 LLE（locally linear embedding）原理介紹
LLE原理 局部線性嵌入（Locally Linear Embedding, LLE）是無監督非線性降維算法，是流行學習的一種。 LLE和Isomap一樣試圖在降維過程中保持高維空間中的流形結構。Isomap把任意兩個樣本點之間
2020-06-27 04:41:13
44
原创 method_LLE(Locally linear embdding)
局部線性嵌入(Locally Linear Embedding，以下簡稱LLE)也是非常重要的降維方法。和傳統的PCA，LDA等關注樣本方差的降維方法相比，LLE關注於降維時保持樣本局部的線性特徵，由於LLE在降維時保持了
2020-06-27 04:41:13
原创 機器學習中的最優化方法進階
前言： 在機器學習方法中，若模型理解爲決策模型，有些模型可以使用解析方法。不過更一般的對模型的求解使用優化的方法，更多的數據可以得到更多的精度。 一、線性規劃 線性規劃、整數規劃、目標規劃等
2020-06-27 04:41:13
2
原创 method_LPP(Locality preserving projections)
本文是對何曉飛老師的論文Locality Preserving Projections及其代碼的一些簡單j介紹，論文及代碼均可以在何老師主頁上下載。 一、LPP簡介 線性投影映射最優化地保存了數據集的鄰近結構與PCA可作
2020-06-27 04:41:13
1
原创 algo_KNN(k-nearest neighbor)
1 k-NN算法 k-近鄰（k-Nearest Neighbors, k-NN）算法是機器學習中非常簡單的一個算法，可以用於分類和迴歸問題。 其基本思想是，在特徵空間中接近的兩個實例，其類別/函數值也接近。對實例x，找到訓練樣
2020-06-27 04:41:13
4
原创 流形學習方法概述
流形學習 假設數據是均勻採樣於一個高維歐氏空間中的低維流形，流形學習就是從高維採樣數據中恢復低維流形結構，即找到高維空間中的低維流形，並求出相應的嵌入映射，以實現維數約簡或者數據可視化。它是從觀測到的現象中去尋找事物的本質，找
2020-02-26 00:36:46
原创 method_Robust PCA
PCA(主成分分析)方法可以有效的找出數據中最“主要”的元素和結構，去除噪音和冗餘，將原有的複雜數據降維，揭示隱藏在複雜數據背後的簡單結構。我們知道，最簡單的主成分分析方法就是PCA了。從線性代數的角度看，PCA的目標就是使用
2020-02-26 00:36:46
原创 method_CCA(canonical correlation analysis)
Canonical Correlation Analysis(CCA)典型相關分析也是一種常用的降維算法。我們知道，PCA(Principal Component Analysis) 主分量分析將數據從高維映射到低維空間同時，
2020-02-26 00:36:46
3
原创 algo_Coordinate descent
首先介紹一個算法：coordinate-wise minimization 問題的描述：給定一個可微的凸函數，如果在某一點x，使得f(x)在每一個座標軸上都是最小值，那麼f(x)是不是一個全局的最小值。 形式化的描述爲：是不是對
2020-02-26 00:36:46
原创 流形學習方法
流形學習 (manifold learning)流形學習是個很廣泛的概念。這裏我主要談的是自從2000年以後形成的流形學習概念和其主要代表方法。自從2000年以後，流形學習被認爲屬於非線性降維的一個分支。衆所周知，引導這一領域迅
2020-02-26 00:36:46
1
原创 algo_FISTA(fast shrinkage-thresholding algorithm)
前言： FISTA（A fast iterative shrinkage-thresholding algorithm）是一種快速的迭代閾值收縮算法（ISTA）。FISTA和ISTA都是基於梯度下降的思想，在迭代過程中進行了更爲
2020-02-26 00:36:46
1
原创 method_SVD（Singular value decomposition）
前言： 上一次寫了關於PCA與LDA的文章，PCA的實現一般有兩種，一種是用特徵值分解去實現的，一種是用奇異值分解去實現的。在上篇文章中便是基於特徵值分解的一種解釋。特徵值和奇異值在大部分人的印象中，往往是停留在純粹
2020-02-26 00:36:46
原创 Type setting_latex 表格
彩色表格 [plain] view plain copy print?\begin{table} </span></span></li><li class=""><span>\centering&nb
2020-02-26 00:36:46
原创 降維方法小結
數據的形式是多種多樣的，維度也是各不相同的，當實際問題中遇到很高的維度時，如何給他降到較低的維度上？前文提到進行屬性選擇，當然這是一種很好的方法，這裏另外提供一種從高維特徵空間向低緯特徵空間映射的思路。 數據降維的目的
2020-02-26 00:36:46