原创 機器學習（13） -- 半監督學習
13.1 未標記樣本 讓學習器不依賴外界交互、自動地利用未標記樣本來提升學習性能，就是半監督學習 要利用未標記樣本，必然要做一些將未標記樣本所揭示的數據分佈信息與類別標記相聯繫的假設，最常見的是“聚類假設”，即假設數據存在簇結構，同一個簇
2020-07-01 02:53:35
原创 深度學習 --- 應用數學和機器學習基礎（數值計算）
機器學習算法通常需要大量的數值計算。這通常指通過迭代過程更新解得估計值來解決數學問題的算法，而不是通過解析過程推導出公式來提供正確解的方法。常見的操作包括優化和線性方程組的求解。 1、上溢和下溢 連續數學在數字計算機上的根本困難是，我們需
2020-07-01 02:53:35
原创 GCN -- 隨手記
普通卷積： 圖卷積 拉普拉斯矩陣： (1)空域(spatial domain)卷積 簡單說就是提取拓撲圖上的空間特徵，然後把每個頂點相鄰的節點（鄰域）找出來，我把你拼成規則的數據結構，然後進行卷積[2]。 具體的操作方法包含三個
2020-07-01 02:53:25
原创 深度學習 --- 應用數學和機器學習基礎（線性代數）
1、線性相關和生成子空間 對於線性方程組：Ax=b，如果逆矩陣 存在，那麼對每一個向量b恰好存在一個解。但是，對於方程組而言，對於向量b的某些值，有可能不存在解或者存在無限多解。 爲了分析方程有多少個解，我們可以將A的列向量看作從原點出發
2020-07-01 02:53:25
原创 Learning Object Bounding Boxes for 3D Instance Segmentation on Point Clouds
1 Introduction The framework directly regresses 3D bounding bo xes for all instances in a point cloud, while simulta
2020-07-01 02:53:25
原创 PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space（2017）
1 Introduction 點雲的特點： ① collections of points in a Euclidean space ② invariant to permutations of its members ③ the d
2020-07-01 02:53:25
原创 PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation（2017）
基礎： Voxel：體素，是體積元素（Volume Pixel）的簡稱，是數字數據於三維空間分割上的最小單位，概念上類似二維空間的最小單位——像素，像素用在二維計算機圖像的影像數據上。有些真正的三維顯示器運用體素來描述它們的分辨率，舉例來
2020-07-01 02:53:25
原创 機器學習（5） -- 神經網絡
5.1 神經元模型 神經網絡是由具有適應性的簡單單元組成的廣泛並行互聯的網絡，最基本的成分是神經元模型。M-P神經元模型如下： 從計算機科學角度看，將神經網絡視爲包含了許多參數的數學模型，這個模型是若干函數，例如 相互嵌套而得。 5.2
2020-07-01 02:53:25
原创 機器學習（12） -- 計算學習理論
12.1 基礎知識 12.1 基礎知識 計算學習理論研究的是關於通過“計算”來進行“學習”的理論，即關於機器學習的理論基礎，目的是分析學習任務的困難本質，爲學習算法提供理論保證，並根據分析結果指導算法設計 樣例集 ，, ，所有樣本 i.i
2020-07-01 02:53:25
原创 機器學習（14） -- 概率圖模型
14.1 隱馬爾可夫模型 機器學習最重要的任務，是根據一些已觀察到的證據（如訓練樣本）來對感興趣的未知變量（如類別標記）進行估計和推測。概率模型提供了一種描述框架，將學習任務歸結於計算變量的概率分佈。在概率模型中，利用已知變量推測未知變量
2020-07-01 02:53:25
原创 機器學習（7） -- 貝葉斯分類器
7.1 貝葉斯決策論 貝葉斯決策論是概率框架下實施決策的基本方法。對分類任務來說，在所有相關概率都已知的理想情形下，貝葉斯決策論考慮如何基於這些概率和誤判損失來選擇最優類別標記。 把樣本x分類爲ci，在樣本x上的“條件風險”： 總體
2020-07-01 02:53:25
原创 機器學習（11） -- 特徵選擇與稀疏學習
11.1 子集搜索與評價 特徵選擇：從給定的特徵集中選擇出相關特徵子集的過程。特徵選擇過程必須確保不丟失重要特徵。 處理高維數據兩大主流技術：降維，特徵選擇 無關特徵：與當前學習任務無關 冗餘特徵：它們所包含的特徵能從其他特徵中推演出來。
2020-07-01 02:53:25
原创 深度學習 --- 神經網絡基礎
1、深度前饋網絡 深度前饋網絡，也叫前饋神經網絡，或者多層感知機（MLP） 前饋網絡的目標是近似某個函數f*。 前饋網絡定義了一個映射y=f(x;θ)，並且學習參數θ的值，使它能夠得到最佳的函數近似。 前饋神經網絡通常用不同函數複合在一起
2020-07-01 02:53:25
原创 深度學習 --- 應用數學和機器學習基礎（機器學習基礎）
1、學習算法 任務列舉如下 分類：計算機程序需要指定某些輸入屬於k類中的哪一類 輸入缺失分類：當一些輸入可能丟失時，學習算法必須學習一組函數。有效定義這樣一個大集合函數的方法是學習所有相關變量的概率分佈，然後通過邊緣化缺失變量來解決分類任
2020-07-01 02:53:25
原创 深度學習 --- 優化
1、學習和純優化有什麼不同 機器學習通常是間接作用的。在大多數機器學習問題中，我們關注某些性能度量P，其定義於測試集上並且可能是不可解的。因此，我們只是間接地優化P。我們希望通過降低代價函數 J(θ) 來提高P。 純優化最小化目標 J 本
2020-07-01 02:53:25