本人關注的3D目標檢測的文章多一些，所以本文在點雲檢測，分割領域的發展趨勢的理解可能還淺一些，希望能與大家交流。
2020年的CVPR出來之後，在點雲處理方面給人的感覺是耳目一新，從衆多論文中可以看出點雲處理的新的發展方向。
發展趨勢
1、Point-Voxel
在之前的發展中，方法大致可以分爲如下幾類：
- Point-based：就是以pointnet++爲代表，使用MLP提取point-wise的特徵；以PointCNN爲代表的，先計算卷積核，然後對點做卷積
- Voxel-based：以Sparse Convolution爲代表，使用3D卷積核提取特徵
- Graph-based：雖然看起來Graph based的方法適用性更強，是針對無序數據可以通用的一種方法，但在點雲處理中，就顯得速度慢，精度也並沒有特別突出。
2020年則更多的嘗試在Point和Voxel相結合：
Point-Voxel CNN for Efficient 3D Deep Learning，在保證速度的同時提取point-wise的細粒度的特徵，減少了運算時間，提高了精度。而且該文章提出的是backbone，所以在識別、分割、分類的方法上都能使用。
3DSSD: Point-based 3D Single Stage Object Detector，使用point-based的分支做分割任務，使用voxel-based分支做檢測任務，point-based的特徵來自於voxel-based的插值，從而增加了一種監督方法。
PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection，同樣使用voxel-based的分支的特徵計算point-based分支的特徵，但更像是在multi scale中進一步聚合特徵，使用key point來描述整個點雲。這其實也相當於提出了一種降採樣的方法。
Point和Voxel相結合的方法還是需要探索的，我個人認爲需要對Voxel和Point這兩種方法內部的具體計算做一些可視化，或許能夠有一些啓發。
2、結構呈現規律
處理點雲的網絡發展與處理圖像的網絡的發展趨勢非常相似，目前處理點雲的網絡結構給人的感覺就是開始規範化，新的方法也基本屬於主流框架中，類似於Pointnet，KD-Net這種框架已經被淘汰。
在3D檢測方面，由於mmlab的一系列工作，包括類似的STD等工作，將3D的檢測框架也規範了起來。
首先，Two stage的網絡框架非常類似於2D中的結構，3D卷積被廣泛的使用，在俯視圖中做第一階段的proposal。得到了proposal之後，使用aware pooling在體素中做特徵pooling，這個pooling和2D中mask rcnn中用的非常相似。而具體的操作細節，例如aware pooling，例如預測point的mask，這種具體的操作已經被多篇文章證明其有效性。
One stage的模型仍然處於探索階段，目前文章還比較少，一大類別就是把點雲柵格化然後在俯視圖中做檢測，這個其實並不是特別針對3D檢測任務的。3DSSD和Structure-Aware 3D Object Detection可以認爲單階段的一些探索。
但相比於2D的檢測網絡，3D的結構仍然是多樣的，loss也是多樣的，能不能找到一種對各種任務通用的結構是一個值得研究的方向。
3、Image和Point的融合
Image和Point的融合分爲前融合和後融合，前融合一般是將point投影到image上，將image擴展爲rgbd四通道。後融合則是採取將檢測結果進行融合。還有中間的融合，例如Frustum-Net這種，image的檢測結果爲point中的檢測提供proposal。
總的來說，融合的階段有很多種，數據級，proposal級，結果級等，融合的方式也有很多，有將point投影到image中，以image爲主體，也有通過這種投影關係獲取point的rgb信息從而以point爲主體的。所以融合方式多種多樣，但哪種方式是有效的，能不能找到一種比較通用的融合的範式，仍然是一個開放性的問題。