立體視覺中的攝像機標定、角點檢測、圖像立體匹配、三維可視化、三維重建
· 雙目3D重建系統：
攝像機標定、圖像預處理、特徵提取、立體匹配、深度確定、計算三維座標、三維可視化
1.基於RAC的Tsai標定法，獲得立體攝像機的內外參數：
第一步：用最小二乘法求解線性方程組，得出攝像機外部參數
第二步：求解攝像機內部參數
2.結合立體攝像師模型與匹配的角點，計算三維座標點，在DirectX平臺上，利用頂點列表和索引表進行3D重建
·攝像機標定：獲取攝像機內外參數。內部參數=焦距+鏡頭畸變；外部參數=旋轉參數+平移參數
·特徵提取：提取點、線、輪廓和區域。
·立體匹配：對提取的特徵計算，建立不同圖像特徵之間的對應關係
前景和背景分割：平面分割算法
· 特徵提取
· 特徵匹配：基於光流的跟蹤技術
· 關鍵特徵重建
· 三角化
· 立體匹配：神經網絡分析法、小波分析法
· 深度確定
· 內插
· 景物圖像邊緣輪廓
· 特徵檢測
· 輪廓曲線分段
· 特徵匹配
· 射影重建
· 準歐氏重建
Tu 等人提出了一種基於 PBT （ Probabilistic Boosting Tree ）分類器 的 BEL 邊緣檢測算法 [14] 。
Fowlkes 等人利用中層感知信息改進了邊緣檢測的結果，訓練出一個分類器估計邊緣的概率，記爲 Pb ，將局部亮度、 紋理和顏色梯度信息作爲每個像素點的特徵 [15]
Tu 等人提出的有監督學習的方法進行邊緣檢測或提取目標輪廓的方 法的基本思想是：圖像上每個像素點都有一定的概率是邊緣點，只要計 算出每個點是邊緣點的概率，就可以得到邊緣的概率圖。這種邊緣檢測 的方法也可以說是對每個像素點進行選擇的過程，並且在選擇的時候考 慮其周圍的上下文信息。在學習的過程中，該算法從上萬個特徵集中綜 合選取一組普遍而有效的特徵（例如 Haar 小波特徵），學習出一個判別式的模型來計算某圖像塊的中心點是邊緣點的概率。爲提高學習的準確 率，要用盡可能多的數據進行訓練，機器學習理論爲人們提供了 PCA （主 成份分析）、 SVM （支持向量機）和 Boosting （增強法）等算法處理這些 高維的數據 [17-19] 。
三維場景重建是指：給定一個場景的多幅圖像或者有關這個場景的 一段視頻，通過攝像機標定或其他空間計算方法爲該場景建立一個三維 模型。比較常見的情況是建立三維空間座標系，給出某些點在三維空間 中的位置，更復雜情況下是要建立一個完整的三維表明模型或立體模型
Paper
一、<3D Human Model Reconstruction from Sparse Uncalibrated Views>
* a hierarchical density based clustering algorithm is adapted to obtain high-quality pixel clusters
* regular cameras rely on multi-view stereo(MVS)
* With uncalibrated input images, structure-from-motion (SFM) [4] can be applied to estimate camera parameters from feature correspondences
SFM（structure-from-motion，運動恢復結構）
· 基於圖像的三維重建
· 通過分析物體的運動得到三維結構信息
· 重要問題：找到三維物體圖像的對應點
· 特徵：焦點、多方向有梯度值的邊緣
· 找特徵點→ 照片的運動方向、拍攝方向→隨便拍攝一組照片，都能自動檢測運動方向與拍攝角度，自動照片排序
· 實現一個SFM系統的第一步是找到相機之間的運動。OpenCV可以幫助我們在許多方式上獲得這個運動，特別地，使用findFundamentalMat函數
· 三角化3D點就是計算3D點的座標