三維視覺研究什麼

三維匹配

兩幀或者多幀點雲數據之間的匹配,因爲激光掃描光束受物體遮擋的原因,不可能通過一次掃描完成對整個物體的三維點雲的獲取。因此需要從不同的位置和角度對物體進行掃描。三維匹配的目的就是把相鄰掃描的點雲數據拼接在一起。三維匹配重點關注匹配算法,常用的算法有最近點迭代算法 ICP和各種全局匹配算法。

    

多視圖三維重建

計算機視覺中多視圖一般利用圖像信息,考慮多視幾何的一些約束,射影幾何和多視圖幾何是視覺方法的基礎,在攝影測量中類似的存在共線方程。光束平差法是該類研究的核心技術。這裏也將點雲的多視匹配放在這裏,比如人體的三維重建,點雲的多視重建不再是簡單的逐幀的匹配,還需要考慮不同角度觀測產生誤差累積,因此存在一個針對三維模型進行優化或者平差的過程在裏面。多視圖三維重建這裏指的只是靜態建模,輸入是一系列的圖像或者點雲集合。可以只使用圖像,或者只使用點雲,也可以兩者結合(深度圖像)實現,重建的結果通常是Mesh網格。

  • SFM(運動恢復結構) vs Visual SLAM  [摘抄] SFM 和 Visual SLAM
  • Multi-View Stereo (MVS)多視圖立體視覺,研究圖像一致性,實現稠密重建。

    

   

3D SLAM

  按照傳感器類型分類:可以分爲基於激光的SLAM和基於視覺的SLAM。

  基於激光的SLAM可以通過點雲匹配(最近點迭代算法 ICP、正態分佈變換方法 NDT)+位姿圖優化(g2o、LUM、ELCH、Toro、SPA)來實現;實時激光3D SLAM算法 (LOAM,Blam,CartoGrapher等);Kalman濾波方法。通常激光3D SLAM側重於定位,在高精度定位的基礎上可以產生3D點雲,或者Octree Map。

   

  基於視覺(單目、雙目、魚眼相機、深度相機)的SLAM,根據側重點的不同,有的側重於定位,有的側重於表面三維重建。不過都強調系統的實時性

  (1)側重於定位的VSLAM系統比如orbSLAM,lsdSLAM;VINS是IMU與視覺融合的不錯的開源項目。

  

  (2)側重於表面三維重建SLAM強調構建的表面最優,或者說表面模型最優,通常包含Fusion融合過程在裏面。通常SLAM是通過觀測形成閉環進行整體平差實現,優先保證位姿的精確;而VSLAM通過Fusion過程同時實現了對構建的表面模型的整體優化,保證表面模型最優。最典型的例子是KinectFusion,Kinfu,BundleFusion,RatMap等等。

目標檢測與識別

無人駕駛汽車中基於激光數據檢測場景中的行人、汽車、自行車、道路(車道線,道路標線,路邊線)以及道路設施(路燈)和道路附屬設施(行道樹等)。這部分工作也是高精度電子地圖的主要內容。當然高精度電子地圖需要考慮的內容更多。同時室內場景的目標識別的研究內容也很豐富,比如管線設施,消防設施等。

  

形狀檢測與分類

點雲技術在逆向工程中有很普遍的應用。構建大量的幾何模型之後,如何有效的管理,檢索是一個很困難的問題。需要對點雲(Mesh)模型進行特徵描述,分類。根據模型的特徵信息進行模型的檢索。同時包括如何從場景中檢索某類特定的物體,這類方法關注的重點是模型。

語義分類

獲取場景點雲之後,如何有效的利用點雲信息,如何理解點雲場景的內容,進行點雲的分類很有必要,需要爲每個點雲進行Labeling。可以分爲基於點的分類方法和基於分割的分類方法。從方法上可以分爲基於監督分類的技術或者非監督分類技術,深度學習也是一個很有希望應用的技術。最近深度學習進行點雲場景理解的工作多起來了,比如PointNet,各種八叉樹的Net。

雙目立體視覺與立體匹配 ZNCC

立體視覺(也稱雙目視覺)主要研究的兩個相機的成像幾何問題,研究內容主要包括:立體標定(Stereo Calibration)、立體校正(Stereo Rectification)和立體匹配(Stereo Matching)。目前,立體標定主要研究的已經比較完善,而立體匹配是立體視覺最核心的研究問題。按照匹配點數目分類,立體匹配可分爲稀疏立體匹配(sparse stereo matching)和密集立體匹配(dense stereo matching)。稀疏立體匹配由於匹配點數量稀少,一般很難達到高精度移動測量和環境感知的要求。因此,密集立體匹配是學術界和工業界的主要研究和應用方向。

參考:https://mp.weixin.qq.com/s/cOHAQX12k19eogxfpk95tA

其他

  • 自動造型(構型),快速造型(構型)技術。對模型進行凸分割,模型剖分,以實現模型進一步的編輯修改,派生出其他的模型。
  • 攝像測量技術,視頻測量

 

1、點雲濾波方法(數據預處理):

雙邊濾波、高斯濾波、條件濾波、直通濾波、隨機採樣一致性濾波。

VoxelGrid

2、關鍵點

ISS3D、Harris3D、NARF,

SIFT3D、均勻採樣,曲率方法採樣

3、特徵和特徵描述

法線和曲率計算  NormalEstimation 、特徵值分析Eigen-Analysis、EGI

PFH、FPFH、3D Shape Context、Spin Image

4、點雲匹配

ICP、穩健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP

NDT 3D、Multil-Layer NDT

FPCS、KFPCS、SAC-IA

Line Segment Matching、ICL

5、點雲分割與語義分類

分割:區域生長、八叉樹區域生長、Ransac線面提取、NDT-RANSAC、全局優化平面提取

   K-Means、Normalize Cut(Context based)

   3D Hough Transform(線、面提取)、連通分析、

分類:基於點的分類,基於分割的分類;監督分類與非監督分類

目前基於深度學習的點雲語義分類比較熱:PointNet,OctNet之類的吧,需要多加關注。

6、SLAM圖優化

Ceres(Google的最小二乘優化庫,很強大), g2o、LUM、ELCH、Toro、SPA

SLAM方法:ICP、MBICP、IDC、likehood Field、Cross CorrelationNDT

7、目標識別、檢索

  Hausdorff距離計算(人臉識別),Graph Matching

8、變化檢測

  基於八叉樹的變化檢測

9. 三維重建

  泊松重建、 Delaunay triangulations

  表面重建,人體重建,建築物重建,樹木重建。

  結構化重建:不是簡單的構建一個Mesh網格,而是爲場景進行分割,爲場景結構賦予語義信息。場景結構有層次之分,在幾何層次就是點線面等幾何圖元。

  實時重建:重建植被或者農作物的4D(3D+時間)生長態勢;人體姿勢識別;表情識別;

10.點雲數據管理

  點雲壓縮,點雲索引(KD、Octree),點雲LOD(金字塔),海量點雲的渲染


   

  點雲驅動的計算機圖形學主要研究應用 http://vcc.szu.edu.cn/research/2015/Points/  

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章