文章轉自：http://blog.csdn.net/zhubaohua_bupt/article/details/74172831
利用相機進行三維重建已經不是一個新鮮的話題，重建的三維環境用途很廣泛，
比如檢測識別目標，作爲深度學習的輸入，視覺SLAM。
目前，比較流行的是單、雙目的重建。根據重建的稀疏程度不同，可以分爲以下以下幾類：
稀疏重建：
通常是重建一些圖像特徵點的深度，這個在基於特徵的視覺SLAM裏比較常見，得到的特徵點的深度可以用來計算相機位姿。稀疏重建在實際應用，比如檢測，避障，不能滿足需求。
半稠密重建：
通常是重建圖像紋理或梯度比較明顯的區域，這些區域特徵比較鮮明。半稠密重建在直接法視覺SLAM裏比較常見。重建的三維點雲相對稠密，可以滿足部分應用需求。
稠密重建：
稠密重建是對整個圖像或者圖像中的絕大部分像素進行重建。與稀疏、半稠密相比，稠密重建對場景的三維信息理解更全面，更能符合應用需求。但是，由於要重建的點雲數量太多，相對耗時。
1 雙目重建：
雙目重建通常又稱之爲，立體匹配、雙目匹配、雙目立體視覺、靜態匹配等。
根據所用的相機差異，比如針孔相機、魚眼相機，實現略有差別。根據重建時匹配方式的不同，又可以分爲全局、本全局、局部匹配。OpenCV的GM,SGBM,BM就分別實現了上述算法。
想要了解這方面知識，以上述關鍵字關鍵字（立體匹配、雙目匹配、雙目立體視覺）或（Stereo Matching）搜論文。比如[1][2][3]。其過程可描述如下：
利用左右相機得到的兩幅矯正圖像，通過一幅圖在另一幅圖上找匹配，然後根據三角測量原理恢復出環境三維信息。在魚眼相機的匹配中，也有不矯正圖像，直接匹配的做法，這樣做需要計算圖像極線。
由於整個匹配的過程只需一個時刻的左右圖像，所以也有人稱爲靜態立體視覺。
2 單目重建
傳統的視覺方法（不包括深度學習）單目重建，利用單幅圖像不能完成重建，需要時間域上一系列圖像。
所以有人也稱之爲動態立體視覺。根據重建的實時性不同，可以分爲離線重建和在線重建。
2.1離線重建：
比如 SFM技術，此技術根據在一段時間內獲得的連續圖像來重建一個三維環境。中文文獻搜(運動恢復結構)，英文搜(Structurefrom motion)。
2.2在線重建：在線重建可以分爲漸進式重建和直接式重建。在線重建或多或少都和VO或者(SLAM)有聯繫，因爲重建的時候需要相機的位姿。
2.2.1漸進式重建
漸進式重建利用下一時刻的圖像不斷融合之前的三維信息，類似於卡爾曼濾波思想，而且三維重建實際上也是深度重建，因此，漸進式重建也稱之爲深度濾波。
比如：[4]SVO和[5]REMODE,這兩個論文是一個作者，SVO和REMODE有深度濾波詳細的過程，並且有開源實現代碼。
SVO: https://github.com/uzh-rpg/rpg_svo (深度濾波在depth_filter.cpp裏面)
REMODE:https://github.com/uzh-rpg/rpg_open_remode
2.2.2直接式重建
直接式重建，利用若干個時刻（一般幾幀至幾十幀）的圖像，一次性完成對同一個場景的三維重建。
直接式重建也有人稱之爲深度融合，有點類似於SFM,與SFM不同的是，參與計算的圖像少，實時性較高。
文章[7]是這方面的方法，但代碼沒有開源，如果比較瞭解深度濾波原理，這個也容易實現。
[1] Semi-Global-Matching
[2] Stereo Processing by Semi-Global Matchingand Mutual Information
[3] 基於魚眼相機的立體匹配
[4] C.Forster, M. Pizzoli, and D. Scaramuzza, “SVO: Fast Semi-Direct Monocular VisualOdometry,” in Proc. IEEE Intl. Conf. on Robotics and Automation, 2014.
[5] MatiaPizzoli, Christian Forster, and Davide Scaramuzza. REMODE: Probabilistic,monocular dense reconstruction in real time. In International Conference onRobotics and Automation (ICRA), pages 2609–2616, Hong Kong,China, June 2014.
[6] V. Usenko,J. Engel, J. Stuckler, and D. Cremers. Reconstructing Street-Scenes inReal-Time From a Driving Car
[7] Ra´ulMur-Artal and Juan D. Tard´os Probabilistic Semi-Dense Mapping from HighlyAccurate Feature-Based Monocular SLAM,2015