1. kitti數據採集平臺
KITTI數據集的數據採集平臺裝配有2個灰度攝像機，2個彩色攝像機，一個Velodyne64線3D激光雷達，4個光學鏡頭，以及1個GPS導航系統。圖示爲傳感器的配置平面圖，爲了生成雙目立體圖像，相同類型的攝像頭相距54cm安裝。由於彩色攝像機的分辨率和對比度不夠好，所以還使用了兩個立體灰度攝像機，它和彩色攝像機相距6cm安裝.
傳感器：
1慣性導航系統（GPS / IMU）：OXTS RT 3003
1臺激光雷達：Velodyne HDL-64E
2臺灰度相機，1.4百萬像素：Point Grey Flea 2（FL2-14S3M-C）
2個彩色攝像頭，1.4百萬像素：Point Grey Flea 2（FL2-14S3C-C）
4個變焦鏡頭，4-8毫米：Edmund Optics NT59-917
座標以及傳感器佈置如下所示：
2. calib.txt 標定文件解讀
一個典型的標定文件如下所示：
P0: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 0.000000000000e+00 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 0.000000000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 0.000000000000e+00
P1: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 -3.875744000000e+02 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 0.000000000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 0.000000000000e+00
P2: 7.070493000000e+02 0.000000000000e+00 6.040814000000e+02 4.575831000000e+01 0.000000000000e+00 7.070493000000e+02 1.805066000000e+02 -3.454157000000e-01 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 4.981016000000e-03
P3: 7.215377000000e+02 0.000000000000e+00 6.095593000000e+02 -3.395242000000e+02 0.000000000000e+00 7.215377000000e+02 1.728540000000e+02 2.199936000000e+00 0.000000000000e+00 0.000000000000e+00 1.000000000000e+00 2.729905000000e-03
R0_rect: 9.999128000000e-01 1.009263000000e-02 -8.511932000000e-03 -1.012729000000e-02 9.999406000000e-01 -4.037671000000e-03 8.470675000000e-03 4.123522000000e-03 9.999556000000e-01
Tr_velo_to_cam: 6.927964000000e-03 -9.999722000000e-01 -2.757829000000e-03 -2.457729000000e-02 -1.162982000000e-03 2.749836000000e-03 -9.999955000000e-01 -6.127237000000e-02 9.999753000000e-01 6.931141000000e-03 -1.143899000000e-03 -3.321029000000e-01
Tr_imu_to_velo: 9.999976000000e-01 7.553071000000e-04 -2.035826000000e-03 -8.086759000000e-01 -7.854027000000e-04 9.998898000000e-01 -1.482298000000e-02 3.195559000000e-01 2.024406000000e-03 1.482454000000e-02 9.998881000000e-01 -7.997231000000e-01
0, 1, 2, 3 代表相機編號:
| 0 | 1 | 2 | 3 |
|---|---|---|---|
| 左邊灰度相機 | 右邊灰度相機 | 左邊彩色相機 | 右邊彩色相機 |
P0, P1, P2, P3 分別代表對應的相機內參矩陣, 大小爲 3x4：
fu 和 fv 是指相機的焦距;
cu 和 cv 是指主點偏移：
相機的主軸是與圖像平面垂直且穿過真空的線，它與圖像平面的焦點稱爲主點。
主點偏移就是主點位置相對於圖像平面(投影面)的位置。上圖中，增加x0的值相當於把針孔向右移動，等價將投影面向左移動同時保持針孔位置不變。
bi 是指第i個攝像頭到0號攝像頭的距離偏移（x方向）。
R0_rect 爲0號相機的修正矩陣.
Tr_velo_to_cam 爲velodyne到camera的矩陣 大小爲3x4，包含了旋轉矩陣 R 和 平移向量 t.
Tr_imu_to_vel 爲imu到camera的矩陣 大小爲3x4，包含了旋轉矩陣 R 和 平移向量 t.
3. label.txt 標註文件解讀
以某個label文件爲例：
Truck 0.00 0 -1.57 599.41 156.40 629.75 189.25 2.85 2.63 12.34 0.47 1.49 69.44 -1.56
Car 0.00 0 1.85 387.63 181.54 423.81 203.12 1.67 1.87 3.69 -16.53 2.39 58.49 1.57
Cyclist 0.00 3 -1.65 676.60 163.95 688.98 193.93 1.86 0.60 2.02 4.59 1.32 45.84 -1.55
DontCare -1 -1 -10 503.89 169.71 590.61 190.13 -1 -1 -1 -1000 -1000 -1000 -10
DontCare -1 -1 -10 511.35 174.96 527.81 187.45 -1 -1 -1 -1000 -1000 -1000 -10
DontCare -1 -1 -10 532.37 176.35 542.68 185.27 -1 -1 -1 -1000 -1000 -1000 -10
DontCare -1 -1 -10 559.62 175.83 575.40 183.15 -1 -1 -1 -1000 -1000 -1000 -10
以 Car 爲例：
| label.txt | Car | 0.00 | 0 | 1.85 | 387.63 181.54 | 423.81 203.12 | 1.67 1.87 3.69 | -16.53 2.39 58.49 | 1.57 |
|---|---|---|---|---|---|---|---|---|---|
| 說明 | 類別 | truncated(截斷程度), 0.00表示無截斷 | occluded(遮擋率), 0表示無遮擋 | alpha([-pi, pi]) 觀察角度 | 2D Bounding Box(BB) 左上角的座標 | 2D BB 右下角的座標 | 3D BB的height, width, length | 3D BB 位置在camera相機的座標 | 置信度，用來繪製p/r曲線，越高越好 |
DontCare 劃分出了不感興趣的區域，區域內的物體不會被label。
參考文章：
How to understand the KITTI camera calibration files?
Sensor Setup
kitti數據集標定文件解析
相機矩陣(Camera Matrix)