無人機視頻的電子穩像

1.小型無人機數據介紹

1.1 圖像介紹：

1. 影像航向重疊度和旁向重疊度都不夠規則；

2. 像幅較小、像片數量多；

3. 影像的傾角過大且傾斜方向沒有規律；

4. 航攝區域地形起伏大、高程變化顯著，影像間的比例尺差異大、選偏角大；

5. 影像有明顯畸變等這些情況下實現自動空三是現有數據攝影測量系統的主要挑戰，在大多數下都將導致錯誤結果。

1.2.視頻數據介紹

1. 視頻飛行過程中存在高頻的抖動，使得無人機拍攝的視頻存在抖動；

2. 攝像機拍攝的視頻幀圖像存在較大畸變，對於後續數據處理存在很大問題；

3. 1080P高清視頻用於目標識別跟蹤，所需要處理的數據量非常大。

2. 小型無人機電子穩像作用

1. 能夠去除視頻中存在的抖動、晃動等因素，使得視頻畫面過度更加平穩，減少視覺疲勞；

2. 能夠增加目標識別與跟蹤的精度。

3. 電子穩像

電子穩像根據其處理方式不同可以分爲實時穩像和後續穩像兩種；

實時電子穩像是在無人機飛行過程中根據實時處理算法對攝像機拍攝到的視頻進行實時處理；後續電子穩像是無人機在飛行結束之後對其視頻進行後續處理。

3.1 實時電子穩像

3.1.1 基本原理

電子穩像不同於圖像處理技術中的圖像恢復,圖像恢復是針對每一幀模糊的圖像,而電子穩像穩定的是一個圖像序列,圖像序列的不穩定是由於幀與幀間圖像變化在監視器上反映出來的不穩定,一個基本條件是圖像序列中的每一幀是清晰的。

3.1.2常用方法

實時電子穩像常用的處理方法包括：灰度投影方法、基於圖像特徵方法、基於圖像塊方法、基於背景差法

下面我們詳細介紹下灰度投影方法：

灰度投影

灰度投影方法是將二維的圖像矩陣映射到一維來處理，即x，y方向分別計算，每行每列的像素值總和

分解爲：

和

計算每行每列的和，這樣在行方向和列方向分別計算其前後兩幀圖像的相關性

如上圖，相關性最大的位置也就是該方向上圖像相對的偏移值，上圖中u即爲某方向的偏移值，這樣能夠方便快捷的獲取X，Y方向上的偏移量，之後通過運動補償來實現穩像。

3.2 後續電子穩像

後續電子穩像方法主要是根據視頻圖像所有幀的運動軌跡（局部運動）來對進行優化，獲得精確地全局運動，使得圖像之間的運動更加平滑，銜接性更好。

3.2.1 特點

處理精度比實時穩像高，但處理算法的計算複雜度高，處理過程消耗時間多。

3.2.2 常用算法

Google發表的穩像處理算法：

Tripod -> DP(t) = 0

Dolly or pan -> D2P(t) = 0

Ease in and out transitions -> D3P(t) = 0

通過實驗驗證10:1:100情況下效果最優，再加上框架約束和特徵約束，最終獲得優化的全局路徑

微軟的穩像處理算法：

該算法的核心分爲兩點：1）圖像的分塊，單一的運動模型很難擬合整張圖像，將圖像分爲若干塊分別作爲一個運動模塊使得圖像局部擬合效果更加，這樣使得圖像不會出現嚴重的變形現象；2）圖像分塊角點的估算，通過視頻幀圖像間匹配的特徵點來推算給塊圖像的四個角點，再通過迭代使得圖像塊的路徑最優和圖像塊與塊之間的銜接更加平緩。