若該文爲原創文章，未經允許不得轉載
原博主博客地址：https://blog.csdn.net/qq21497936
原博主博客導航：https://blog.csdn.net/qq21497936/article/details/102478062
本文章博客地址：
各位讀者，知識無窮而人力有窮，要麼改需求，要麼找專業人士，要麼自己研究
轉載出處：https://zhuanlan.zhihu.com/p/108858079
目錄
紅胖子(紅模仿)的博文大全：開發技術集合（包含Qt實用技術、樹莓派、三維、OpenCV、OpenGL、ffmpeg、OSG、單片機、軟硬結合等等）持續更新中...（點擊傳送門）.
OpenCV開發專欄（點擊傳送門）
圖像識別(匹配)方法|室內定位|論文與方法整理
前言
研究圖像處理和算法有點上癮，看到一篇好文章，經過原文作者同意，進行轉載。
整理
https://mp.weixin.qq.com/s/8ilO_X_uEfMMQDNwzLSaUQ
圖像匹配
- 應用：目標識別、目標跟蹤、超分辨率影像重建、視覺導航、圖像拼接、三維重建、視覺定位、場景深度計算
- 方法：基於深度學習的特徵點匹配算法、實時匹配算法、3維點雲匹配算法、共面線點不變量匹配算法，以及基於深度學習的圖像區域匹配等。
- 分類：局部不變特徵點匹配、直線匹配、區域匹配
Part1：局部不變特徵點匹配-2D
1. 什麼是圖像特徵點？- 關鍵點+描述子
- 關鍵點：指特徵點在圖像中的位置，具有方向、 尺度等信息;
- 描述子：描述子通常是一個向量，描述關鍵點鄰域的像素信息。
2. 如何進行特徵點匹配 ？- 人工設計檢測器
- 在向量空間對兩個描述子進行比較，距離相近則判定爲同一個特徵點
- 角點、邊緣點等都可以作爲潛在特徵點
- 角點檢測算法 - 最常用：基於圖像灰度的方法
- Harris【1】：通過兩個正交方向上 強度的變化率對角點進行定義，其本身存在尺度固 定、像素定位精度低、僞角點較多和計算量大等問題。
- Harris改進算法【6】：將多分辨率思想引入 Harris 角點，解決了 Harris 算法不具有尺度變化的問題。
- Harris改進算法【7】：在 Harris 算法中兩次篩選候選點集，利用最小二乘加 權距離法實現角點亞像素定位，大幅度提高角點檢測效率和精度。
- Harris改進算法【8】：將灰度差分及模板與 Harris 算法相結合，解決了 Harris 算法中存在較多僞角 點和計算量大等問題。
- 鄰域像素檢測
- Fast【2】：通過鄰域像素對比進行特徵點檢測並引入機器學習加速這一過程，可應用在對實時性要求較高的場合，如視頻監控中的目標識別。由於FAST 僅處理單一尺度圖像，且檢測的不僅僅是“角點”這一特徵，還可以檢測到其他 符合要求的特徵點，如孤立的噪點等。當圖像中噪 點較多時會產生較多外點，導致魯棒性下降。
- SIFT【3】：不再侷限於對角點檢測
- SIFT總結【5】：許允喜等，對局部圖像描述符進行分析描述，對這類方法的計算複雜度、評價方法和應用領域 予以總結。
- SIFT總結【4】：劉立等，對 SIFT 算法的演變以及在 不同領域的典型應用進行了較爲全面的論述，並比 較了各類算法的優缺點。
- SIFT算法改進【9】【10】【11】：針對算法時間複雜度高，PCA-SIFT, SURF, SSIF
- SIFT算法改進【12】：對彩色圖 像進行處理的 CSIFT( colored SIFT)
- SIFT算法改進【13】：使用對數極座標分級結構的 GLOH( gradient location and orientation histogram)
- SIFT算法改進【14】：具有仿射不變性的ASFIT( affine SIFT)
- 角點檢測算法 - 最常用：基於圖像灰度的方法
3. 如何進行特徵點匹配 ？
3.1 深度學習特徵檢測器 - 局部特徵點的重複檢測
- FAST-ER算法【15】：把特徵點檢測器定義爲一種檢測高重複點的三元決策樹，並採用模擬退火算法對決策樹進行優化，從而提高檢測重複率。由於在每次 迭代過程中，都需要對重新應用的新決策樹進行檢 測，且其性能受到初始關鍵點檢測器的限制，降低了 該算法的魯棒性。
- 時間不變特徵檢測器( TILDE) 【16】：Verdie 等人提出，能夠較好地對由天氣、季節、時 間等因素引起的劇烈光照變化情況下的可重複關鍵 點進行檢測。參與訓練的候選特徵點是由多幅訓練 圖像中採用 SIFT 算法提取的可重複關鍵點組成，如 圖a ; 正樣本是以這些點爲中心的區域，負樣本 是遠離這些點的區域。在進行迴歸訓練時，正樣本 在特徵點位置返回最大值，遠離特徵點位置返回較 小值，如圖 b ; 迴歸測試時，將測試圖像分成固定 大小的圖像塊，其迴歸響應如圖c ，然後根據非 極大值抑制提取特徵點，如圖d 。該方法適用於處理訓練數據和測試數據爲同一場景的圖像。 （TILDE 採用手動標記的數據作爲區分性特徵訓練，使用DOG-difference of Gaussian收集訓練集，對於跨模態任務如RGB/深度模態對不再適用）
- 基於學習的協變特徵檢測器【17】：綜合考慮兩個局部特徵檢測器特性（檢測可區分的特徵；協變約束-在不同的變換下重複檢測一致特徵），Zhang 等人提出。該方法將 TILDE 的輸出作爲候選標準圖像塊，通過變換預測 器的訓練建立學習框架，將局部特徵檢測器的協變 約束轉化爲變換預測器的協變約束，以便利用迴歸 ( 如深度神經網絡) 進行變換預測。預測的變換有 兩個重要性質: 1) 變換的逆矩陣能將觀察到的圖像 塊映射到“標準塊”，“標準塊”定義了具有可區分性 的圖像塊以及塊內“典型特徵”( 如單位圓) 的位置 和形狀; 2) 將變換應用到“典型特徵”可以預測圖像 塊內變換特徵的位置和形狀。
- Quadnetworks【18】：採用無監督學習方式進行特徵點檢測。Savinov 等人 提出，該方法將關鍵點檢測問題轉化爲圖像變換上的關鍵點 一致性排序問題，優化後的排序在不同的變換下具 有重複性，其中關鍵點來自響應函數的頂/底部分位 數。Quad-networks 的訓練過程如圖所示，在兩幅 圖像中提取隨機旋轉像塊對( 1，3) 和( 2，4) ; 每個塊 經過神經網絡輸出一個實值響應 H( p w) ，其中 p 表示點，w 表示參數向量; 通過四元組的排序一致 函數計算鉸鏈損失，並通過梯度下降法優化。Quadnetworks 在 RGB/RGB模式和RGB/深度模式的重複檢測性能均優於 DOG，可以和基於學習的描述符 相結合進行圖像匹配，還可用於視頻中的興趣幀檢測。
3.2 深度學習特徵描述符學習
- 用於特徵點描述符判別學習的 DeepDesc【19】：Simo-Serra 等人提出，該方法採用 Siamese 網絡側重訓練難以區分 類別的樣本，輸入圖像塊對，將 CNN 輸出的非線性 映射作爲描述符，採用歐氏距離計算相似性並最小 化其鉸鏈損失。該方法適用於不同的數據集和應 用，包括寬基線圖像匹配、非剛性變形和極端光照變 化的情況，但該方法需要大量的訓練數據來保證其魯棒性。
3.3 深度學習各階段統一
- Yi 等人提出【20】：基於學習的不變特徵變換( LIFT) 結合空間變換網絡【21】和 Softargmax 函數，將基於深度學習的特徵點檢測【16】、基於深度學習的方向估計【22】和基於深度 學習的描述符【19】連接成一個統一網絡，從而實現完 整特徵點匹配處理流水線。其中圖像塊的裁剪和旋 轉通過空間變換網絡實現，訓練階段採用四分支 Siamese 網絡，輸入特徵點所在圖像塊， 其位置和方向均來自 SFM 算法的輸出，其中 P1 和 P2 爲同一3D 點在不同視角下的圖像，P3 爲不同3D 點的投影的圖像塊，P4 爲不包含任何特徵點的圖像 快，S 爲得分圖，x 代表特徵點位置。採用從後至前 的訓練策略，即先訓練描述子，再訓練方向估計，最 後訓練特徵點檢測。測試階段，將特徵點檢測與方 向估計及描述子分開，使優化問題易於處理。LIFT 方法的輸入爲多尺度圖像，以滑窗形式進行特徵點 檢測，提取局部塊逐個分配方向，再計算描述子。與 SIFT 相比，LIFT 能夠提取出更爲稠密的特徵點，且 對光照和季節變化具有很高的魯棒性。
3.4 不同對象或場景的匹配方法研究( 圖像語義匹配)：
與考慮在時間( 光流) 或空間( 立體) 相鄰的圖像特 徵對應不同，語義對應的特徵是圖像具有相似的高 層結構，而其精確的外觀和幾何形狀可能不同。
3.4.1 相同對象類的像對匹配
- 經 典 SIFT 流方法【23】：提出不同場景的稠密對應概念， 通過平滑約束和小位移先驗計算不同場景間的稠密 對應關係。
- Bristow 等人【24】：將語義對應問題轉化爲 約束檢測問題，並提出 Examplar-LDA( Examplar linear discriminant analysis) 分類器。首先對匹配圖像 中的每個像素學習一個 Examplar-LDA 分類器，然後 以滑動窗口形式將其應用到目標圖像，並將所有分 類器上的匹配響應與附加的平滑先驗結合，從而獲 得稠密的對應估計。該方法改善了語義流的性能，在背景雜亂的場景下具有較強魯棒性。
3.4.2 不同對象類的像對匹配
- Novotny 等人【25】：提出基於幾何敏感特徵的弱監督學習方法 AnchorNet。在只有圖像級標籤的監督下，AnchorNet 依賴一組從殘差超列 HC( hypercolumns) 中提取具 有正交響應的多樣過濾器，該過濾器在同一類別的 不同實例或兩個相似類別之間具有幾何一致性。 AnchorNet 通 過 在 ILSVＲC12 ( imagenet large scale visual recognition competition 2012) 上預先訓練的深 度殘差網絡( ＲesNet50) 模型初始化網絡參數，並採 用兩階段優化與加速訓練完成匹配。
3.4.3 多圖像語義匹配
可以找到多個圖像間的一致對應關係，從而在應用中發揮更爲重要的作用
- 對象類模型重建【26】
- 自動地標註釋【27】
- Wang 等人【28】：將多圖像間的語義匹 配問題轉化爲特徵選擇與標註問題，即從每幅圖像 的初始候選集中選擇一組稀疏特徵點，通過分配標 籤建立它們在圖像間的對應關係。該方法可以爲滿 足循環一致性和幾何一致性的圖像集合建立可靠的 特徵對應關係，其中循環一致性可以對圖像集合中 的可重複特徵進行選擇和匹配。低秩約束用於確保 特徵對應的幾何一致性，並可同時對循環一致性和 幾何一致性進行優化。該方法具有高度可擴展性， 可以對數千幅圖像進行匹配，適用於在不使用任何 註釋的情況下重構對象類模型。
3.5 圖像匹配應用於臨牀的精確診療
通過精確比對器官的幾何形狀，來判斷臟器是否存在病變; 通過分析腫瘤的幾何特徵，來判斷腫瘤是否爲惡性。
- Yu 等人［29］提 出 A-NSIFT( accelerated multi-dimensional scale invariant feature transform) 與 PO-GMMＲEG( parallel optimization based on gaussian mixture model registration) 相結合的方法，改進了特徵提取和匹配過程。ANSIFT 爲加速版 NSIFT，採用 CUDA 編程加速 NSIFT 的前兩個步驟，用於提取匹配圖像和待匹配圖像中 的特徵點( 僅保留位置信息) 。PO-GMMＲEG 是基 於並行優化的高斯混合模型( GMM) 匹配算法，並行 優化使得匹配圖像和待匹配圖像可以任意旋轉角度 對齊。該方法可以減少時間消耗，提高大姿態差異 下的匹配精度。
- TV-L1 ( total variation-L1 ) 光流模型［30］能有效地保 持圖像邊緣等特徵信息，但對於保持具有弱導數性 質的紋理細節信息仍不夠理想。
- 張桂梅等人［31］將 G-L ( Grünwald-Letnikov ) 分 數 階 微 分 理 論 引 入 TV-L1 光流模型，代替其中的一階微分，提出分數階 TV-L1 光流場模型 FTV-L1 ( fractional TV-L1 ) 。同 時給出匹配精度和 G-L 分數階模板參數之間關係， 爲最佳模板選取提供依據。FTV-L1 模型通過全變分 能量方程的對偶形式進行極小化以獲得位移場，可 以解決圖像灰度均勻，弱紋理區域匹配結果中的信 息模糊問題。該方法能有效提高圖像匹配精度，適合於包含較多弱紋理和弱邊緣信息的醫學圖像匹配。
- 爲了解決待匹配圖像對中目標的大形變和灰度 分佈呈各向異性問題，陸雪松等人［32］將兩幅圖像的 聯合 Ｒenyi α -entropy 引入多維特徵度量並結合全 局和局部特徵，從而實現非剛性匹配。首先，採用最 小距離樹構造聯合 Ｒenyi α -entropy 度量準則; 其 次，根據該度量相對形變模型 FFD( free-form deformation) 的梯度解析表達式，採用隨機梯度下降法進 行優化; 最後，將圖像的 Canny 特徵和梯度方向特徵 融入度量中，實現全局和局部特徵的結合。該方法 的匹配精度與傳統互信息法和互相關係數法相比有 明顯提高，且新度量方法能克服因圖像局部灰度分 布不一致造成的影響，能夠在一定程度上減少誤 匹配。
- Yang 等人［33］ 提出的 FMLND( feature matching with learned nonlinear descriptors) 採用基於學習的局 部非線性描述符 LND 進行特徵匹配，對來自 T1w 和 T2w 兩種不同成像參數的磁共振成像( MＲI) 數據的 CT( computed tomography) 圖像進行預測。該過程分 爲兩個階段: 學習非線性描述符和預測 pCT( pseudo CT) 圖像。第 1 階段，首先採用稠密 SIFT 提取 MＲ 圖像的特徵; 其次通過顯式特徵映射將其投影到高 維空間並與原始塊強度結合，作爲初始非線性描述 符; 最後在基於改進的描述符學習( SDL) 框架中學 習包含監督的 CT 信息的局部描述符。第 2 階段， 在訓練 MＲ 圖像的約束空間內搜索輸入 MＲ 圖像 的局部描述符的 K 最近鄰域，和對應原始 CT 塊進 行映射，對重疊的 CT 塊進行加權平均處理得到最 終的 pCT 塊。與僅使用成像參數 T1w 或 T2w 的 MＲ 圖像方法相比，FMLND 方法提高了預測的準 確率。
- 對骨盆CT和MRI匹配可以促進前列腺癌放射治療兩種方式的有效融合。由於骨盆器官的模態外 觀間隙較大，形狀/外觀變化程度高，導致匹配困難。 基於此，Cao 等人【34】提出基於雙向圖像合成的區域 自適應變形匹配方法，用於多模態骨盆圖像的匹配， 雙向圖 像 合 成，即 從MRI合 成CT並 從CT合 成MRI。多目標迴歸森林 MT-ＲF 採用CT模式和MRI模式對方向圖像合成進行聯合監督學習，消除模態 之間的外觀差異，同時保留豐富的解剖細節，其匹配 流程爲: 首先，通過 MT-ＲF 合成雙向圖像，獲得實際CT和合成CT( S-CT) 的CT像對以及實際MRI和合成 MＲI( S-MRI) 的 MＲI 像對; 其次，對CT像對的骨骼區域和 MRI像對的軟組織區域進行檢測，以結合 兩種模式中的解剖細節; 最後，利用從兩種模式中選 擇的特徵點進行對稱匹配。在匹配過程中，特徵點 數量逐漸增加，對形變場的對稱估計起到較好的分 級指導作用。該方法能夠較好地解決骨盆圖像匹配 問題，具有較高的準確性和魯棒性。
3.6 圖像匹配應用於遙感圖像處理-高分辨率
- 何夢夢等人【35】對細節紋理信息豐富的高分辨率光學及 SAR( synthetic aperture radar) 遙感圖像進行分析，提出一種特徵 級高分辨率遙感圖像快速自動匹配方法。該方法首 先對匹配圖像和待匹配圖像進行 Harr 小波變換，將 其變換到低頻近似圖像再進行後續處理，以提高圖 像匹配速度; 接着對光學圖像和 SAＲ 圖像分別採用 Canny 算子和 ＲOA( ratio of averages) 算子進行邊緣 特徵提取，並將邊緣線特徵轉換成點特徵; 而後通過 匹配圖像和待匹配圖像中每對特徵點之間的最小和 次小角度之比確定初始匹配點對，並通過對隨機抽 樣一致性算法( ＲANSAC) 添加約束條件來濾除錯誤 匹配點對; 最後採用分塊均勻提取匹配點對的方法， 進一步提高匹配精度。該方法能快速實現並具有較 高的配準精度和較好的魯棒性。
3.7 剔除誤差匹配
3.7.1 幾何約束爲參數的情況，如要求相應點位於極線上
- Fischler 等 人［36］提出 RANSAC 方法，採用迭代方式從包含離羣 數據的數據集中估算出數學模型。進行匹配點對的 提純步驟爲: 1) 從已匹配的特徵點對數據集中隨機 抽取四對不共線的點，計算單應性矩陣 H，記作模型 M; 2) 設定一個閾值 t，若數據集中特徵點與 M 之間 的投影誤差小於 t，就把該點加入內點集，重複以上 步驟，迭代結束後對應內點數量最多的情況即爲最 優匹配。ＲANSAC 對誤匹配點的剔除依賴單應性矩 陣的計算，存在計算量大、效率低等問題。
- 文獻［37］通過引入針對內點和外點的混合概 率模 型 實 現 了 參 數 模 型 的最大似然估計。
- 文獻［38］使用支持向量迴歸學習的對應函數，該函 數將一幅圖像中的點映射到另一幅圖像中的對應點， 再通過檢驗它們是否與對應函數一致來剔除異常值。
- 將點對應關係通過圖匹配進行描述［39-40］
- 爲了在不依賴 ＲANSAC 情況下恢復大量內點，Lin 等人【41】提出 BF( bilateral functions) 方法，從含 有噪聲的匹配中計算全局匹配的一致函數，進而分 離內點與外點。BF 從一組初始匹配結果開始，利用 每個匹配定義的局部仿射變換矩陣計算兩幅圖像之 間的仿射運動場。在給定運動場的情況下，BF 爲每 個特徵在描述符空間尋找最近鄰匹配以恢復更多對 應關係。與 ＲANSAC 相比，雙邊運動模型具備更高 的查全率和查準率。
- 受 BF 啓發，Bian 等人【42】將運動平滑度作爲統計量，提出基於網格的運動統計( GMS) 方法，根據 最近鄰匹配數量區分正確匹配和錯誤匹配點對。 GMS 算法的核心爲運動統計模型，如圖 4 所示。其 中，si 和 sj 分別表示正確匹配 xi 和錯誤匹配 xj 的運 動統計，爲了加速這一過程，可將整幅圖像劃分成 G = 20 × 20 的網格，並在網格中進行操作。由於 GMS 算法在進行網格劃分時，並未考慮圖像大小， 對於長寬比例不一致的圖像，會生成矩形狀的網格， 導致網格中特徵分佈不均。基於此，文獻［43］通過 計算五宮格特徵分數剔除外點，並將圖像大小作爲 約束對圖像進行方形網格劃分，能夠在提高運算速 度的同時獲得與 GMS 算法相同的匹配精度。
3.7.2 幾何約束爲非參數
- Ma 等人［44］提出 VFC( vector field consensus) 方法，利用向量場的光滑先驗，從帶有外點的樣本中尋找向量場的魯棒估計。向量場的光滑 性由再生核希爾伯特空間( RKHS) 【45】範數表徵，VFC 算法基於這一先驗理論，使用貝葉斯模型的最 大後驗( MAP) 計算匹配是否正確，最後使用 EM 算法將後驗概率最大化。VFC 算法的適用範圍: 1) 誤匹配比例高的時候( 遙感圖像、紅外圖像和異質圖像) ; 2) 無法提供變換模型的時候( 如非剛性變形、 相機參數未知) ; 3) 需要一個快速匹配算法且不需要求解變換參數的時候。
Part2：局部不變特徵點匹配-3D
3維圖像常用的表現形式包括: 深度圖( 以灰 度表達物體與相機的距離) 、幾何模型( 由 CAD 軟 件建立) 、點雲模型( 所有逆向工程設備都將物體採 樣成點雲) ，3 維點匹配算法中常見的是基於點雲模 型的和基於深度模型的。點雲模型中的每個點對應 一個測量點，包含了最大的信息量。
1.特徵檢測
- PointNet【46】可以直接將 3D 點雲作爲輸入，其改進版 PointNet++【47】能更好地提取局部信息。3 維局部描述符在 3 維視 覺中發揮重要作用，是解決對應估計、匹配、目標檢 測和形狀檢索等的前提，廣泛應用在機器人技術、導 航( SVM) 和場景重建中。點雲匹配中的 3 維幾何 描述符一直是該領域的研究熱點，這種描述符主要 依賴 3 維局部幾何信息。
- Deng 等人［48］提出具有全局感知的局部特徵提取網絡 PPFNet ( point pair feature network) 。PPFNet 結構如圖 5 所示。塊描述 Fr 由點對特徵( PPF) 集合、局部鄰域內的點及法線 構成，首先採用 PointNet 處理每個區域塊，得到局部 特徵; 其次通過最大池化層將各個塊的局部特徵聚 合爲全局特徵，將截然不同的局部信息彙總到整個 片段的全局背景中; 最後將該全局特徵連接到每個 局部特徵，使用一組多層感知機( MLP) 進一步將全 局和局部特徵融合到最終全局背景感知的局部描述 符中。PPFNet 在幾何空間上學習局部描述符，具有 排列不變性，且能充分利用原始點雲的稀疏性，提高 了召回率，對點雲的密度變化有更好的魯棒性。但 其內存使用空間與塊數的 2 次方成正比，限制了塊 的數量，目前只能設置爲 2 K。
- 在基於深度模型的匹配算法中，Zhou 等人【49】基於多視圖融合技術 Fuseption-ＲesNet(FRN) ，提出 多視圖描述符 MVDesc。FＲN 能將多視圖特徵映射 集成到單視圖上表示，如圖 6 所示。其中，視圖池化 ( view pooling) 用於快捷連接，Fuseption 分支負責學 習殘差映射，兩個分支在精度和收斂率方面互相加強。採用 3 × 3、1 × 3 和 3 × 1 3 種不同內核尺寸的 輕量級空間濾波器提取不同類型的特徵，並採用上 述級聯特徵映射的 1 × 1 卷積負責跨通道統計量的合併與降維。將 FＲN 置於多個並行特徵網絡之上， 並建立 MVDesc 的學習網絡，其中卷積 6 的通道數 與特徵網絡輸出的特徵映射通道數相同。
- 與依 賴多視圖圖像或需要提取固有形狀特徵的卷積神經網絡不同，Wang 等人［50］提出一種可以根據 3 維曲面形狀生成局部描述符的網絡框架。該方法將關鍵點的鄰域進行多尺度量化並參數化爲 2 維網格，並 將其稱之爲幾何圖像，描述符的訓練過程如下: 首先 提取曲面上關鍵點鄰域的多尺度局部塊，根據這些塊構造一組幾何圖像; 其次將這些塊輸入 Triplet 網 絡，每個網絡分支採用 ConvNet ( convolutional networks) 訓練; 最後輸出 128 維描述符，並採用 MinCV Triplet 損失函數最小化錨樣本和正樣本距離的變異係數( CV) 之比。相對於其他局部描述符學習方法，該方法具有更好的可區分性、魯棒性及泛化 能力。
- Georgakis 等人［51］提出用於特徵點檢測和描述符學習的端到端框架。該框架基於 Siamese 體系結 構，每個分支都是一個改進的 Faster Ｒ-CNN［52］。如 圖 7 所示，採用 VGG-16 的卷積層 cov5_3 提取深度圖I的深度卷積特徵，一方面經過ＲPN( region propose network) 處理，產生特徵點的候選區域( 橙色區域) 及分數 S ; 另一方面輸入到 ＲoI( region of interest) 池化層，經過全連接層將特徵點候選區域映射 到對應卷積特徵 f 上; 採樣層以候選區域的質心 x、 卷積特徵 f 、深度圖像值 D、相機姿態信息 g 和相機 內在參數作爲輸入，動態生成局部塊對應標籤( 正 或負) ，並採用對比損失函數 Lcontr 最小化正樣本對間的特徵距離，最大化負樣本對間的距離，該方法對視角變化具有一定的魯棒性。
2. 誤差剔除
- 採用基於圖模型的3維誤匹配點剔除方法RMBP( robust matching using belief propagation) 。該模型可以描述匹配對之間的相 鄰關係，並通過置信傳播對每個匹配對進行推斷驗 證，從而提高 3 維點匹配的準確性和魯棒性。
Part3：直線匹配
研究直線匹配首先要克服線特徵本身存在的一 些問題，如端點位置不準確、圖像邊緣特徵不明顯、 線段碎片問題等，與點特徵相比，線特徵包含更多場 景和對象的結構信息。線特徵匹配方法可以大致分 爲 3 種: 基於單線段匹配方法、基於線段組方法和基於共面線—點不變量( LP) 方法。
1.基於單線段匹配
- Wang 等人［53］提出 的 MSLD( mean standard deviation line descriptor) 方 法通過統計像素支持區域內每個子區域 4 個方向的 梯度向量構建描述子矩陣，進而提高描述符的魯棒 性。MSLD 對具有適當變化的紋理圖像有較好的匹 配效果，可以應用在 3 維重建和目標識別等領域。 爲了解決 MSLD 對尺度變化敏感問題，文獻［54］將 區域仿射變換和 MSLD 相結合，利用核線約束確定 匹配圖像對應的同名支持域，並對該支持域進行仿 射變換以統一該區域大小，實現不同尺度圖像上直 線的可靠匹配。
- 與 MSLD 相似，Zhang 等人［55］提出 線帶描述符( LBD) ，在線支持區域( LSＲ) 中計算描 述符，同時利用直線的局部外觀和幾何特性，通過成 對幾何一致評估提高對低紋理圖像直線匹配的精確 度。該方法可在不同尺度空間中檢測線段，能夠克 服線段碎片問題，提高抗大尺度變化的魯棒性。
2.基於線段組方法
- 當像對間旋轉角度過大時，單線段匹配方法的匹配準確率不高，可以採用線段組匹配方法通過更多的幾何信息解決這一問題。Wang 等人［56］基於線段局部聚類的方式提出半局部特徵 LS( line signature) ，用於寬基線像對匹配，並採用多尺度方案提 高尺度變化下的魯棒性。
- 爲了提高在光照不受控制 情況下對低紋理圖像的匹配準確度，López 等人［57］ 將直線的幾何特性、局部外觀及線鄰域結構上下文 相結合，提出雙視圖( two-view) 直線匹配算法 CA。 首先對線特徵進行檢測: 1) 在高斯尺度空間利用基 於相位的邊緣檢測器提取特徵; 2) 根據連續性準則 將邊緣特徵局部區域近似爲線段; 3) 在尺度空間進 行線段融合。其次，該方法中的相位一致性對於圖 像亮度和對比度具有較高不變性，線段融合可以減 少重疊線段以及線段碎片出現。最後，線特徵匹配 採用迭代方式進行，通過不同直線鄰域的局部結構 信息來增強每次迭代的匹配線集，該方法適用於低 紋理圖像中線特徵的檢測與匹配。
基於線段組匹配方法對線段端點有高度依賴性，圖像變換及部分遮擋可能導致端點位置不準確， 進而影響匹配效果。
3.基於共面線—點不變量( LP) 方法
- Fan 等人［58-59］利用線及其鄰域點的局部幾何信息構造共面線—點不變量( LP) 用 於線匹配。LP 包括: “一線 + 兩點”構成的仿射不 變量和“一線 + 四點”構成的投影不變量。該投影 不變量和“兩線 + 兩點”構成的投影不變量［60］ 相 比，可以直接用於線匹配而無需複雜的組合優化。 根據直線的梯度方向，將線鄰域分爲左鄰域和右鄰 域( 線梯度方向) ，以獲得左右鄰域內與線共面的匹 配點，進行線相似性度量時，取左右鄰域相似性的最大值。
- 該方法對誤匹配點和圖像變換具有魯棒性， 但高度依賴匹配關鍵點的準確性。爲此，Jia 等 人［61］基於特徵數 CN［62］提出一種新的共面線—點 投影不變量。CN 對交叉比進行擴展，採用線上點 和線外點描述基礎幾何結構。通過“五 點”構 造 線—點不變量，其中兩點位於直線上，另外三點位於 直線同一側但不共線，如圖 8 所示。點 KP1 l ，KP2 l ， P1 ，P2 ，P3 用於構造該不變量，通過兩點連線可以 獲得其他特徵點。計算直線鄰域相似性時，把線鄰 域按照線梯度方向分爲左鄰域和右鄰域( 梯度方 向) ，根據線點不變量分別計算左、右鄰域的相似 性。這種相似性度量方法受匹配特徵點的影響較 小。該方法對於低紋理和寬基線圖像的線匹配效果 要優於其他線匹配算法，對於很多圖像失真也有較 好魯棒性。由於該線—點不變量是共面的，對於非平面場景圖像的處理具有侷限性。
對航空影像進行線匹配時，線特徵通常會出現遮擋、變形及斷裂等情況，使得基於形態的全局描述 符不再適用。基於此，歐陽歡等人［63］聯合點特徵匹 配優勢，通過對線特徵進行離散化描述並結合同名 點約束實現航空影像線特徵匹配。線特徵離散化， 即將線看做離散點，通過統計線上同名點的分佈情 況來確定線特徵的初匹配結果，最後利用點線之間 距離關係對匹配結果進行覈驗。同名點約束包括單 應性約束和核線約束，單應性約束實現線特徵之間 的位置約束，核線約束將匹配搜索空間從 2 維降至 1 維。線上離散點的匹配約束如圖 9 所示，IL 爲目 標影像，l1 爲目標線特徵，p 爲其上一點; IＲ 爲待匹 配影像，線 E 代表 p 所對應核線，p' 爲 p 由單應性矩 陣映射得到的對應點，虛線圓爲單應性矩陣的約束 範圍，l'1 、l'2 、l'3 是由約束確定的候選線特徵，點 p1、p2 、p3 爲 p 的候選同名點。該算法匹配正確率 高，匹配速度相對較快，可實現斷裂線特徵的多對多匹配，但匹配可靠性仍受到點特徵匹配的影響，對於 難以獲得初始同名點的區域，其適用性不高。
Part4：區域匹配
1.區域特徵提取與匹配方法
區域特徵具有較高的不變性與穩定性，在多數圖像中可以重複檢測，與其他檢測器具有一定互補性，被廣泛應用於圖像識別、圖像檢索、圖像拼接、3 維重建、機器人導航等領域。
- Matas 等人［64］於 2002 年提 出最大穩定極值區域( MSEＲ) 採用分水嶺方法，通 過對灰度圖像取不同閾值分割得到一組二值圖，再 分析相鄰二值圖像的連通區域獲得穩定區域特徵。 經典 MSEＲ 算法具有較高的時間複雜度。
- Nistér 等 人［65］基於改進的分水嶺技術提出一種線性計算 MSEＲ 的算法，該算法基於像素的不同計算順序，獲 得與圖像中存在灰度級數量相同的像素分量信息， 並通過組件樹表示對應灰度級。MSEＲ 這類方法可 用於圖像斑點區域檢測及文本定位，也可與其他檢 測器結合使用，如文獻［66］將 SUＲF 和 MSEＲ 及顏 色特徵相結合用於圖像檢索，文獻［67］將 MSEＲ 與 SIFT 結合用於特徵檢測。
- 區域特徵檢測還可利用計算機技術中的樹理論 進行穩定特徵提取，Xu 等人［68］提出一種基於該理 論的拓撲方法 TBMＲ( tree-based Morse regions) 。該 方法以 Morse 理論爲基礎定義臨界點: 最大值點、最小值點和鞍點，分別對應最大樹葉子節點、最小樹葉 子節點和分叉節點。TBMＲ 區域對應樹中具有唯一 子節點和至少具有一個兄弟節點的節點。如圖 10 所示，節點 A 和 C 代表最小值區域; 節點 H 和 E 代 表最大值區域; 節點 A ∪ B ∪ C ∪ D ∪ G 和 E ∪ F ∪ G ∪ H 表示鞍點區域; 節點 A ∪ B 、C ∪ D 、E ∪ F 爲所求 TBMＲ 區域。該方法僅依賴拓撲信息，完全繼承形狀空間不變性，對視角變化具有魯棒性，計算 速度快，與 MSEＲ 具有相同複雜度，常用於圖像配準 和 3 維重建。
2. 模板匹配
模板匹配是指給定一個模板( 通常是一塊小圖像區域) ，在目標圖像中尋找與模板對應區域的方法，被廣泛應用於目標跟蹤、目標檢測及圖像拼接等領域。
模板和目標圖像子窗口間的相似性度量是模板 匹配的主要部分，常採用逐像素比較的計算方式，如 上述方法採用的 SAD、CSAD 和 SV-NCC，此外還有 差值平方和 SSD 等，這些方法在圖像背景雜亂或發 生複雜形變的情況下不再適用。
- Korman 等人［69］提出可以處理任意仿射變換的模板匹配算法 FAST-Match ( fast affine template matching) ，該方法首先將彩色圖像灰度化，再構建 仿射變換集合，並遍歷所有可能的仿射變換，最後計 算模板與變換後區域之間絕對差值的和 SAD，求取 最小值作爲最佳匹配位置。該方法能夠找到全局最 優匹配位置，但對彩色圖像匹配時，需預先轉換成灰 度圖像，而這一過程損失了彩色空間信息，降低了圖像匹配的準確率。
- Jia 等人［70］將灰度空間的 SAD 拓 展到 ＲGB 空間形成 CSAD( colour SAD) ，提出適合 彩色 圖 像 的 模 板 匹 配 算 法 CFAST-Match ( colour FAST match) 。該方法通過矢量密度聚類算法計算 每個像素點所屬類別，並統計同類像素個數及 ＲGB 各通道的累計值，以此求解每個分類的矢量中心，將 矢量中心作爲 CSAD 的判定條件，同類像素個數的 倒數作爲分值係數，以此建立新的相似性度量機制。
- 上方法對存在明顯色差的區域具有較高匹配精度， 但部分參數依據經驗設置，且不適合處理大尺寸圖 像。爲了解決這一問題，文獻［71］提出一種基於分值圖的模板匹配算法。該方法依據彩色圖像的多通道特徵，採用抽樣矢量歸一化互相關方法 ( SVNCC) 度量兩幅圖像間的區域一致性，以降低光照和噪聲影響。
- Dekel 等人［72-73］基 於模板與目標圖像間的最近鄰( NN) 匹配屬性提出 一種新的 BBS( best-buddies similarity) 度量方法，採 用不同圖像特徵( 如顏色、深度) 通過滑動窗口方式 統計模板點與目標點互爲 NN 的匹配數量，並將匹 配數量最多的窗口視爲最終匹配位置。但該算法在 發生劇烈非剛性形變或處於大面積遮擋及非均勻光 照等環境下匹配魯棒性差。文獻［74］利用曼哈頓 距離代替 BBS 算法中的歐氏距離，並對生成的置信 圖進行閾值篩選和濾波，能夠較好地解決光照不均 勻、模板中外點較多與旋轉變形等多種複雜條件下 的匹配問題。
- 採用雙向 NN 匹配導致 BBS 的計算時間較長， Talmi 等人［75］提出基於單向 NN 匹配的 DDIS ( deformable diversity similarity) 方法。首先計算目標圖 像窗口點在模板中的 NN 匹配點，並統計對應同一 匹配點的數量，計算像素點的置信度。其次採用歐 氏距離計算目標點和對應 NN 匹配點間距離，最後 結合度量模板和目標圖像窗口間的相似性獲得匹配 結果。儘管 DDIS 降低了算法複雜度並提高了檢測 精度，但當形變程度較大時依然會影響匹配效果。
- 由於 DDIS 對每個滑動窗口單獨計算 NN 匹配且滑 動窗口的計算效率較低，導致模板在與較大尺寸的 目標圖像進行匹配時，處理時間較長。爲此，Talker 等人［76］基於單向 NN 匹配提出 DIWU( deformable image weighted unpopularity) 方法。與 DDIS 基於目 標圖像窗口點不同，DIWU 計算整幅目標圖像點在 模板中的最近鄰匹配點，若多個像素的 NN 匹配點 相同，則像素的置信分數就低，匹配的正確性就低。 DIWU 以第 1 個圖像窗口的分數爲基礎，逐步計算 之後的每個窗口分數，該方法在保證匹配準確性的同時，提高了運算速度，使得基於 NN 的模板匹配適合實際應用。
- BBS 和 DDIS 均採用計算矩形塊間的相似性度量解決幾何形變和部分遮擋問題，但滑動窗口的使 用限制了遮擋程度。Korman 等人［77］基於一致集最 大化( CSM) 提出適用於存在高度遮擋情況下的模 板匹配算法 OATM ( occlusion aware template matching) 。OATM 通過約簡方法，將單個向量和 N 個目 標向量間的匹配問題轉化爲兩組 槡N 向量間的匹配 問題，並基於隨機網格哈希算法進行匹配搜索。匹 配搜索的過程爲尋找 CSM 的過程，即使用閾值內的 殘差映射進行變換搜索。OATM 提高了算法的處理 速度，較好地解決了遮擋問題。
- 與基於歐氏距離的像素間的相似性不同，共現 統計( cooccurrence statistics) 是從數據中學習像素間 的相似性。Kat 等人［78］通過統計模板點和目標點在 目標圖像窗口共同出現的概率提出 CoTM( cooccurrence based template matching) 。CoTM 在處理彩色 圖時，採用 k-means 聚類算法將圖像量化爲 k 個類 簇，根據共現矩陣統計模板和目標圖像中的類簇對 在目標圖像中共同出現的次數，再基於每個類簇的 先驗概率進行歸一化，構造點互信息( PMI) 矩陣，值 越大表明共現概率越高，誤匹配率越低。最後根據 PMI 計算模板類簇中的像素和目標圖像窗口中包含 的類簇中的像素之間的相關性，選出最佳匹配位置。 CoTM 也適用於顏色特徵之外的其他特徵，如深度 特徵，可將共現統計( 捕獲全局統計) 與深度特徵 ( 捕獲局部統計數據) 相結合，在基於標準數據集的 模板匹配中提升匹配效果。
3. 深度學習方法-塊匹配
近年來，基於深度學習的圖像區域匹配成爲研 究熱點，卷積神經網絡( CNN) 在局部圖像區域匹配的應用中，根據是否存在度量層可以分爲兩類:
第一 類爲具有度量層的方法，這類網絡通常把圖像塊對 匹配問題視爲二分類問題。
- Han 等 人［79］ 提出 的 MatchNet 通過 CNN 進行圖像區域特徵提取和相似 性度量，過程如圖 11 所示。對於每個輸入圖像塊， 特徵網絡輸出一個固定維度特徵，預處理層的輸入 爲灰度圖像塊，起到歸一化作用。卷積層激活函數 爲 ＲeLU，瓶頸( bottlebeck) 層爲全連接層，能夠降低 特徵維度並防止網絡過擬合。採用 3 個全連接層組 成的度量網絡計算特徵對的匹配分數，雙塔結構在 監督環境下聯合訓練特徵網絡和度量網絡。
- Zagoruyko 等人［80］ 提出 DeepCompare 方法，通 過 CNN 比較灰度圖像塊對的相似性。該方法對基 礎網絡框架 Siamese、pseudo-Siamese 和 2 通道( 2ch) 進行描述，並在此基礎上採用深度網絡、中心環繞雙 流網絡( central-surround two-stream，2stream) 和空間 金字塔池化( SPP) 網絡提升基礎框架性能。
- 爲了提高衛星影像的配準率，範大昭等人［81］提 出基於空間尺度雙通道深度卷積神經網絡方法 ( BBS-2chDCNN) 。BBS-2chDCNN 是在雙通道深度 卷積神經網絡( 2chDCNN) 前端加入空間尺度卷積 層，以加強整體網絡的抗尺度特性。2chDCNN 將待 匹配點對局部合成的兩通道影像作爲輸入數據，依 次進行 4 次卷積、ＲeLU 操作、最大池化操作，3 次卷 積和 ＲeLU 操作，最後進行扁平化和兩次全連接操 作輸出一維標量結果。該方法適用於處理異源、多 時相、多分辨率的衛星影像，較傳統匹配方法能提取 到更爲豐富的同名點。
第二類方法不存在度量層，這類網絡的輸出即爲特徵描述符，在某些應用中可以直接代替傳統描述符。
- Balntas 等人［82］提出的 PN-Net 採用 Triplet 網 絡訓練，訓練過程如圖 14 所示。圖像塊三元組 T = { p1，p2，n} ，包 括 正 樣 本 對 ( p1，p2 ) 和 負 樣 本 對 ( p1，n) 、( p2，n) ，採用 SoftPN 損失函數計算網絡輸 出描述子間相似性，以確保最小負樣本對距離大於 正樣本對距離。表 2 給出所採用的 CNN 體系結構 的參數，採用 32 × 32 像素的圖像塊作爲輸入，括號 內的數字表示卷積核大小，箭頭後面的數字表示輸 出通道數，Tanh 爲激活函數。與其他特徵描述符相 比，PN-Net 具有更高效的描述符提取及匹配性能， 能顯著減少訓練和執行時間。
-
Yang 等人［83］提出用於圖像塊表示的一對互補 描述符學習框架 DeepCD。該方法採用 Triplet 網絡 進行訓練，輸出主描述符( 實值描述符) 和輔描述符 ( 二值描述符) ，如圖 15 所示，輸入圖像區域包括正 樣本對 ( a，p) ，負樣本對 ( a，n) 和 ( p，n) ，L 代表 主描述符，C 代表輔描述符，Δ 代表主描述符距離， Δ 珚代表輔描述符距離。數據相關調製層( DDM) 通過學習率的動態調整實現輔助描述符對主導描述符 的輔助作用。該方法能夠有效地提高圖像塊描述符 在各種應用和變換中的性能。
- 以上這些方法都是對圖像塊對或三元組進行的 處理，Tian 等人［84］提出的 L2-Net 通過 CNN 在歐氏 空間將一批圖像塊轉換成一批描述符，將批處理中 的最近鄰作爲正確匹配描述符。如圖 16 所示，每個 卷積層左邊數字代表卷積核大小，右邊數字表示輸 出通道數，2 表示下采樣層的步長; 3 × 3 Conv 由卷 積、批歸一化( BN) 和 ＲeLU( rectified linear unit) 組 成; 8 × 8 Conv 由卷積和批歸一化( BN) 組成; 局部響應歸一化層( LＲN) 作爲單元描述符的輸出層，獲 得 128 維描述符。CS L2-Net 由兩個獨立 L2-Net 級 聯成雙塔結構，左側塔輸入和 L2-Net 相同，右側塔 輸入是中心裁剪後的圖像塊。採用漸進式採樣策 略，在參與訓練的批樣本中，從每對匹配樣本中隨機 抽取一個組成若干不匹配樣本，增加負樣本數量。 與成對樣本和三元組樣本相比，能夠利用更多負樣 本信息。
比較
其他
2維點匹配
- TILDE
- 協變特徵檢測[17]
- DeepDesc
- LIFT
- Quad-networks
3維點匹配
語義匹配
- 樣本LDA分類器
- AnchorNet
- 文獻[28]
線匹配
- LBD
- 新線點投影不變量[61]
模板匹配
- FAST-Match
- CFAST-Match
- DDIS
- DIWU
- CoTM
- OATM
塊匹配
- MatchNet
- DeepCompare
- PN-Net
- L2-Net
- DeepCD
文獻：
- ［1］ Harris C，Stephens M． A combined corner and edge detector ［C］/ /Proceedings of the 4th Alvey Vision Conference． Manchester: AVC，1988: 147-151． ［DOI: 10． 5244 /C． 2． 23］
- ［2］ Ｒosten E，Drummond T． Machine learning for high-speed corner detection［C］/ /Proceedings of the 9th European Conference on Computer Vision． Graz，Austria: Springer，2006: 430-443． ［DOI: 10． 1007 /11744023_34］
- ［3］ Lowe D G． Distinctive image features from scale-invariantkeypoints［J］． International Journal of Computer Vision，2004， 60( 2) : 91-110． ［DOI: 10． 1023 /B: VISI． 0000029664． 99615． 94］
- ［4］ Liu L，Zhan Y Y，Luo Y，et al． Summarization of the scale invariant feature transform［J］． Journal of Image and Graphics， 2013，18( 8) : 885-892． ［劉立，詹茵茵，羅揚，等． 尺度不 變特徵 變 換 算 子 綜 述［J］． 中 國 圖 象 圖 形 學 報，2013， 18( 8) : 885-892．］［DOI: 10． 11834 /jig． 20130801］
- ［5］ Xu Y X，Chen F． Ｒecent advances in local image descriptor［J］． Journal of Image and Graphics，2015，20( 9) : 1133-1150． ［許 允喜，陳方． 局部圖像描述符最新研究進展［J］． 中國圖象 圖形學報，2015，20( 9) : 1133-1150．］［DOI: 10． 11834 /jig． 20150901］
- ［6］ Zhang X H，Li B，Yang D． A novel Harris multi-scale corner detection algorithm［J］． Journal of Electronics and Information Technology，2007，29 ( 7) : 1735-1738． ［張小 洪，李 博，楊 丹． 一種新的 Harris 多尺度角點檢測［J］． 電子與信息學報， 2007，29 ( 7 ) : 1735-1738．］ ［DOI: 10． 3724 / SP． J． 1146． 2005． 01332］
- ［7］ He H Q，Huang S X． Improved algorithm for Harris rapid subpixel corners detection［J］． Journal of Image and Graphics， 2012，17( 7) : 853-857． ［何海清，黃聲享． 改進的 Harris 亞 像素角點快速定位［J］． 中國圖象圖形學報，2012，17( 7) : 853-857．］［DOI: 10． 11834 /jig． 20120715］
- ［8］ Zhang L T，Huang X L，Lu L L，et al． Fast Harris corner detection based on gray difference and template［J］． Chinese Journal of Scientific Instrument，2018，39( 2) : 218-224． ［張立亭，黃 曉浪，鹿琳琳，等． 基於灰度差分與模板的 Harris 角點檢測 快速算法［J］． 儀器儀表學報，2018，39( 2) : 218-224．］
- ［9］ Ke Y，Sukthankar Ｒ． PCA-SIFT: a more distinctive representation for local image descriptors［C］/ /Proceedings of 2004 IEEE Computer Society Conference on Computer Vision and Pattern Ｒecognition． Washington，DC: IEEE，2004: 506-513． ［DOI: 10． 1109 /CVPＲ． 2004． 1315206］
- ［10］ Bay H，Tuytelaars T，Gool L． SUＲF: speeded up robust features ［C］/ /Proceedings of the 9th European Conference on Computer Vision． Graz，Austria: Springer，2006: 404-417． ［DOI: 10． 1007 /11744023_32］
- ［11］ Liu L，Peng F Y，Zhao K，et al． Simplified SIFT algorithm for fast image matching［J］． Infrared and Laser Engineering，2008， 37( 1) : 181-184． ［劉立，彭復員，趙坤，等． 採用簡化 SIFT 算法實 現 快 速 圖 像 匹 配［J］． 紅外與激光工程，2008， 37( 1) : 181-184．］［DOI: 10． 3969 /j． issn． 1007-2276． 2008． 01． 042］
- ［12］ Abdel-Hakim A E，Farag A A． CSIFT: a SIFT descriptor with color invariant characteristics［C］/ /Proceedings of 2006 IEEE Computer Society Conference on Computer Vision and Pattern Ｒecognition． New York，NY: IEEE，2006: 1978-1983． ［DOI: 10． 1109 /CVPＲ． 2006． 95］
- ［13］ Mikolajczyk K，Schmid C． A performance evaluation of local descriptors［J］． IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27 ( 10 ) : 1615-1630． ［DOI: 10． 1109 /TPAMI． 2005． 188］
- ［14］ Morel J M，Yu G S． ASIFT: a new framework for fully affine invariant image comparison［J］． SIAM Journal on Imaging Sciences，2009，2( 2) : 438-469． ［DOI: 10． 1137 /080732730］
- ［15］ Ｒosten E，Porter Ｒ，Drummond T． Faster and better: a machine learning approach to corner detection［J］． IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32( 1) : 105- 119． ［DOI: 10． 1109 /TPAMI． 2008． 275］
- ［16］ Verdie Y，Yi K M，Fua P，et al． TILDE: a temporally invariant learned DEtector［C］/ /Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Ｒecognition． Boston，MA: IEEE， 2015: 5279-5288． ［DOI: 10． 1109 /CVPＲ． 2015． 7299165］
- ［17］ Zhang X，Yu F X，Karaman S，et al． Learning discriminative and transformation covariant local feature detectors［C］/ /Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Ｒecognition． Honolulu，HI: IEEE，2017: 4923-4931． ［DOI: 10． 1109 /CVPＲ． 2017． 523］
- ［18］ Savinov N，Seki A，Ladicky L，et al． Quad-networks: unsupervised learning to rank for interest point detection［C］/ /Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Ｒecognition． Honolulu，HI: IEEE，2017: 3929-3937． ［DOI: 10． 1109 /CVPＲ． 2017． 418］
- ［19］ Simo-Serra E，Trulls E，Ferraz L，et al． Discriminative learning of deep convolutional feature point descriptors［C］/ /Proceedings of 2015 IEEE International Conference on Computer Vision． Santiago，Chile: IEEE，2015: 118-126． ［DOI: 10． 1109 / ICCV． 2015． 22］
- ［20］ Yi K M，Trulls E，Lepetit V，et al． LIFT: learned invariant feature transform［C］/ /Proceedings of the 14th European Conference on Computer Vision． Amsterdam，The Netherlands: Springer，2016: 467-483． ［DOI: 10． 1007 /978-3-319-46466-4_28］
- ［21］ Jaderberg M，Simonyan K，Zisserman A，et al． Spatial transformer networks［C］/ /Proceedings of the 28th International Conference on Neural Information Processing Systems． Montreal， Canada: ACM，2015: 2017-2025．
- ［22］ Yi K M，Verdie Y，Fua P，et al． Learning to assign orientations to feature points［C］/ /Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Ｒecognition． Las Vegas，NV: IEEE，2016: 107-116． ［DOI: 10． 1109 /CVPＲ． 2016． 19］
- ［23］ Liu C，Yuen J，Torralba A． SIFT flow: dense correspondence across scenes and its applications［J］． IEEE Transactions on Pattern Analysisand Machine Intelligence，2011，33( 5) : 978-994． ［DOI: 10． 1109 /TPAMI． 2010． 147］
- ［24］ Bristow H，Valmadre J，Lucey S． Dense semantic correspondence where every pixel is a classifier［C］/ /Proceedings of 2015 IEEE International Conference on Computer Vision． Santiago， Chile: IEEE，2015: 4024-4031． ［DOI: 10． 1109 / ICCV． 2015． 458］
- ［25］ Novotny D，Larlus D，Vedaldi A． AnchorNet: A weakly supervised network to learn geometry-sensitive features for semantic matching［C］/ /Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Ｒecognition． Honolulu，HI: IEEE， 2017: 2867-2876． ［DOI: 10． 1109 /CVPＲ． 2017． 306］
- ［26］ Kar A，Tulsiani S，Carreira J，et al． Category-specific object reconstruction from a single image［C］/ /Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Ｒecognition． Boston， MA: IEEE，2015: 1966-1974． ［DOI: 10． 1109 /CVPＲ． 2015． 7298807］
- ［27］ Thewlis J，Bilen H，Vedaldi A． Unsupervised learning of object landmarks by factorized spatial embeddings［C］/ /Proceedings of 2017 IEEE International Conference on Computer Vision． Venice，Italy: IEEE，2017: 3229-3238． ［DOI: 10． 1109 / ICCV． 2017． 348］
- ［28］ Wang Q Q，Zhou X W，Daniilidis K． Multi-image semantic matching by mining consistent features［C］/ /Proceedings of 2018 IEEE /CVF Conference on Computer Vision and Pattern Ｒecognition． Salt Lake City，UT: IEEE，2018: 685-694． ［DOI: 10． 1109 /CVPＲ． 2018． 00078］
- ［29］ Yu D D，Yang F，Yang C Y，et al． Fast rotation-free featurebased image registration using improved N-SIFT and GMM-based parallel optimization［J］． IEEE Transactions on Biomedical Engineering，2016，63 ( 8) : 1653-1664． ［DOI: 10． 1109 /TBME． 2015． 2465855］
- ［30］ Pock T，Urschler M，Zach C，et al． A duality based algorithm for TV － L1 － optical-flow image registration［C］/ /Proceedings of the 10th International Conference on Medical Image Computing and Computer-Assisted Intervention． Brisbane，Australia: Springer， 2007: 511-518． ［DOI: 10． 1007 /978-3-540-75759-7_62］
- ［31］ Zhang G M，Sun X X，Liu J X，et al． Ｒesearch on TV-L1 optical flow model for image registration based on fractional-order differentiation［J］． Acta Automatica Sinica，2017，43 ( 12) : 2213- 2224． ［張桂梅，孫曉旭，劉建新，等． 基於分數階微分的 TV-L1光流 模 型 的 圖 像 配 準 方 法 研 究［J］． 自 動 化 學 報， 2017，43 ( 12 ) : 2213-2224．］［DOI: 0． 16383 /j． aas． 2017． c160367］
- ［32］ Lu X S，Tu S X，Zhang S． A metric method using multidimensional features for nonrigid registration of medical images［J］． Acta Automatica Sinica，2016，42( 9) : 1413-1420． ［陸雪松， 塗聖賢，張素． 一種面向醫學圖像非剛性配準的多維特徵度 量方法［J］． 自動化學報，2016，42( 9) : 1413-1420．］［DOI: 10． 16383 /j． aas． 2016． c150608］
- ［33］ Yang W，Zhong L M，Chen Y，et al． Predicting CT image from MＲI data through feature matching with learned nonlinear local descriptors［J］． IEEE Transactions on Medical Imaging，2018， 37( 4) : 977-987． ［DOI: 10． 1109 /TMI． 2018． 2790962］
- ［34］ Cao X H，Yang J H，Gao Y Z，et al． Ｒegion-adaptive deformable registration of CT /MＲI pelvic images via learning-based image synthesis［J］． IEEE Transactions on Image Processing， 2018，27 ( 7 ) : 3500-3512． ［DOI: 10． 1109 /TIP． 2018． 2820424］
- ［35］ He M M，Guo Q，Li A，et al． Automatic fast feature-level image registration for high-resolution remote sensing images［J］． Journal of Ｒemote Sensing，2018，22( 2) : 277-292． ［何夢夢，郭擎， 李安，等． 特徵級高分辨率遙感圖像快速自動配準［J］． 遙 感 學 報，2018，22 ( 2 ) : 277-292．］ ［DOI: 10． 11834 /jrs． 20186420］
- ［36］ Fischler M A，Bolles Ｒ C． Ｒandom sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography［J］． Communications of the ACM，1981， 24( 6) : 381-395． ［DOI: 10． 1145 /358669． 358692］
- ［37］ Torr P H S，Zisserman A． MLESAC: a new robust estimator with application to estimating image geometry［J］． Computer Vision and Image Understanding，2000，78( 1) : 138-156． ［DOI: 10． 1006 /cviu． 1999． 0832］
- ［38］ Li X Ｒ，Hu Z Y． Ｒejecting mismatches by correspondence function［J］． International Journal of Computer Vision，2010， 89( 1) : 1-17． ［DOI: 10． 1007 / s11263-010-0318-x］
- ［39］ Liu H Ｒ，Yan S C． Common visual pattern discovery via spatially coherent correspondences［C］/ /Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Ｒecognition． San Francisco，CA: IEEE，2010: 1609-1616． ［DOI: 10． 1109 /CVPＲ． 2010． 5539780］
- ［40］ Liu H Ｒ，Yan S C． Ｒobust graph mode seeking by graph shift ［C］/ /Proceedings of the 27th International Conference on International Conference on Machine Learning． Haifa，Israel: ACM， 2010: 671-678．
- ［41］ Lin W Y D，Cheng M M，Lu J B，et al． Bilateral functions for global motion modeling［C］/ /Proceedings of the 13th European Conference on Computer Vision． Zurich，Switzerland: Springer， 2014: 341-356． ［DOI: 10． 1007 /978-3-319-10593-2_23］
- ［42］ Bian J W，Lin W Y，Matsushita Y，et al． GMS: grid-based motion statistics for fast，ultra-robust feature correspondence［C］/ / Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Ｒecognition． Honolulu，HI: IEEE，2017: 2828-2837． ［DOI: 10． 1109 /CVPＲ． 2017． 302］
- ［43］ Chen F J，Han J，Wang Z W，et al． Image registration algorithm based on improved GMS and weighted projection transformation ［J］． Laser ＆ Optoelectronics Progress，2018，55 ( 11 ) : 111006． ［陳方傑，韓軍，王祖武，等． 基於改進 GMS 和加權 投影變換的圖像配准算法［J］． 激光與光電子學進展，2018， 55( 11) : 111006．］
- ［44］ Ma J Y，Zhao J，Tian J W，et al． Ｒobust point matching via vector field consensus［J］． IEEE Transactions on Image Processing， 2014，23 ( 4 ) : 1706-1721． ［DOI: 10． 1109 /TIP． 2014． 2307478］
- ［45］ Aronszajn N． Theory of reproducing kernels［J］． Transactions of the American Mathematical Society，1950，68 ( 3 ) : 337-404． ［DOI: 10． 2307 /1990404］
- ［46］ Charles Ｒ Q，Su H，Mo K，et al． PointNet: deep learning on point sets for 3D classification and segmentation［C］/ /Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Ｒecognition． Honolulu，HI: IEEE，2017: 77-85． ［DOI: 10． 1109 /CVPＲ． 2017． 16］
- ［47］ Qi C Ｒ，Yi L，Su H，et al． PointNet + + : deep hierarchical feature learning on point sets in a metric space［C］/ /Proceedings of the 31st Conference on Neural Information Processing Systems． Long Beach，CA: ACM，2017．
- ［48］ Deng H W，Birdal T，Ilic S． PPFNet: global context aware local features for robust 3D point matching［C］/ /Proceedings of 2018 IEEE /CVF Conference on Computer Vision and Pattern Ｒecognition． Salt Lake City，UT: IEEE，2018． ［DOI: 10． 1109 / CVPＲ． 2018． 00028］
- ［49］ Zhou L，Zhu S Y，Luo Z X，et al． Learning and matching multiview descriptors for registration of point clouds［C］/ /Proceedings of the 15th European Conference on Computer Vision． Munich， Germany: Springer，2018． ［DOI: 10． 1007 /978-3-030-01267-0 _31］
- ［50］ Wang H Y，Guo J W，Yan D M，et al． Learning 3D keypoint descriptors for non-rigid shape matching［C］/ /Proceedings of the 15th European Conference on Computer Vision． Munich，Germany: Springer，2018． ［doi: 10． 1007 /978-3-030-01237-3_1］
- ［51］ Georgakis G，Karanam S，Wu Z Y，et al． End-to-end learning of keypoint detector and descriptor for pose invariant 3D matching ［C］/ /Proceedings of 2018 IEEE /CVF Conference on Computer Vision and Pattern Ｒecognition． Salt Lake City，UT: IEEE， 2018． ［DOI: 10． 1109 /CVPＲ． 2018． 00210］
- ［52］ Ｒen S Q，He K M，Girshick Ｒ，et al． Faster Ｒ-CNN: towards real-time object detection with region proposal networks［J］． IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017，39 ( 6 ) : 1137-1149． ［DOI: 10． 1109 /TPAMI． 2016． 2577031］
- ［53］ Wang Z H，Wu F C，Hu Z Y． MSLD: a robust descriptor for line matching［J］． Pattern Ｒecognition，2009，42 ( 5 ) : 941- 953． ［DOI: 10． 1016 /j． patcog． 2008． 08． 035］
- ［54］ Wang J X，Zhang X，Zhu H，et al． MSLD descriptor combined regional affine transformation and straight line matching［J］． Journal of Signal Processing，2018，34 ( 2 ) : 183-191． ［王競 雪，張雪，硃紅，等． 結合區域仿射變換的 MSLD 描述子與 直線段匹配［J］． 信號處理，2018，34( 2) : 183-191．］［DOI: 10． 16798 /j． issn． 1003-0530． 2018． 02． 008］
- ［55］ Zhang L L，Koch Ｒ． An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency［J］． Journal of Visual Communication and Image Ｒepresentation，2013，24 ( 7 ) : 794-805． ［DOI: 10． 1016 /j． jvcir． 2013． 05． 006］
- ［56］ Wang L，Neumann U，You S Y． Wide-baseline image matching using line signatures［C］/ /Proceedings of the 12th International Conference on Computer Vision． Kyoto，Japan: IEEE，2009: 1311-1318． ［DOI: 10． 1109 / ICCV． 2009． 5459316］
- ［57］ López J，Santos Ｒ，Fdez-Vidal X Ｒ，et al． Two-view line matching algorithm based on context and appearance in low-textured images［J］． Pattern Ｒecognition，2015，48 ( 7 ) : 2164-2184． ［DOI: 10． 1016 /j． patcog． 2014． 11． 018］
- ［58］ Fan B，Wu F C，Hu Z Y． Line matching leveraged by point correspondences［C］/ /Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Ｒecognition． San Francisco，CA: IEEE，2010: 390-397． ［DOI: 10． 1109 / CVPＲ． 2010． 5540186］
- ［59］ Fan B，Wu F C，Hu Z Y． Ｒobust line matching through line-point invariants［J］． Pattern Ｒecognition，2012，45 ( 2) : 794- 805． ［DOI: 10． 1016 /j． patcog． 2011． 08． 004］
- ［60］ Lourakis M I A，Halkidis S T，Orphanoudakis S C． Matching disparate views of planar surfaces using projective invariants［J］． Image and Vision Computing，2000，18 ( 9) : 673-683． ［DOI: 10． 1016 / S0262-8856( 99) 00071-2］
- ［61］ Jia Q，Gao X K，Fan X，et al． Novel coplanar line-points invariants for robust line matching across views［C］/ /Proceedings of the 14th European Conference on Computer Vision． Amsterdam， The Netherlands: Springer，2016: 599-611． ［DOI: 10． 1007 / 978-3-319-46484-8_36］
- ［62］ Luo Z X，Zhou X C，Gu D X． From a projective invariant to some new properties of algebraic hypersurfaces［J］． Science China Mathematics，2014，57( 11) : 2273-2284． ［DOI: 10． 1007 / s11425-014-4877-0］
- ［63］ Ouyang H，Fan D Z，Ji S，et al． Line matching based on discrete description and conjugate point constraint［J］． Acta Geodaetica et Cartographica Sinica，2018，47 ( 10 ) : 1363-1371． ［歐陽歡，範大昭，紀鬆，等． 結合離散化描述與同名點約束 的線特徵匹配［J］． 測繪學報，2018，47( 10) : 1363-1371．］ ［DOI: 10． 11947 /j． AGCS． 2018． 20170231］
- ［64］ Matas J，Chum O，Urban M，et al． Ｒobust wide baseline stereo from maximally stable extremal regions［C］/ /Proceedings of the 13th British Machine Vision Conference． Cardiff: BMVC，2002: 1041-1044．
- ［65］ Nistér D，Stewénius H． Linear time maximally stable extremal regions［C］/ /Proceedings of the 10th European Conference on Computer Vision． Marseille，France: Springer，2008: 183-196． ［DOI: 10． 1007 /978-3-540-88688-4_14］
- ［66］ Elnemr H A． Combining SUＲF and MSEＲ along with color features for image retrieval system based on bag of visual words［J］． Journal of Computer Science，2016，12 ( 4) : 213-222． ［DOI: 10． 3844 /jcssp． 2016． 213． 222］
- ［67］ Mo H Y，Wang Z P． A feature detection method combined MSEＲ and SIFT［J］． Journal of Donghua University: Natural Science， 2011，37( 5) : 624-628． ［莫會宇，王祝萍． 一種結合 MSEＲ 與 SIFT 算子的特徵檢測方法［J］． 東華大學學報: 自然科學 版，2011，37 ( 5) : 624-628．］［DOI: 10． 3969 /j． issn． 1671- 0444． 2011． 05． 017］
- ［68］ Xu Y C，Monasse P，Géraud T，et al． Tree-based Morse regions: a topological approach to local feature detection［J］． IEEE Transactions on Image Processing，2014，23( 12) : 5612-5625． ［DOI: 10． 1109 /TIP． 2014． 2364127］
- ［69］ Korman S，Ｒeichman D，Tsur G，et al． FasT-Match: fast affine template matching［C］/ /Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Ｒecognition． Portland，OＲ: IEEE，2013: 2331-2338． ［DOI: 10． 1109 /CVPＲ． 2013． 302］
- ［70］ Jia D，Cao J，Song W D，et al． Colour FAST ( CFAST) match: fast affine template matching for colour images［J］． Electronics Letters，2016，52( 14) : 1220-1221． ［DOI: 10． 1049 /el． 2016． 1331］
- ［71］ Jia D，Yang N H，Sun J G． Template selection and matching algorithm for image matching［J］． Journal of Image and Graphics， 2017，22( 11) : 1512-1520． ［賈迪，楊寧華，孫勁光． 像對匹 配的模 板 選 擇 與 匹 配［J］． 中國圖象圖形學報，2017， 22( 11) : 1512-1520．］［DOI: 10． 11834 /jig． 170156］
- ［72］ Dekel T，Oron S，Ｒubinstein M，et al． Best-buddies similarity for robust template matching［C］/ /Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Ｒecognition． Boston， MA: IEEE，2015: 2021-2029． ［DOI: 10． 1109 /CVPＲ． 2015． 7298813］
- ［73］ Oron S，Dekel T，Xue T F，et al． Best-buddies similarity—robust template matching using mutual nearest neighbors［J］． IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018，40 ( 8 ) : 1799-1813． ［DOI: 10． 1109 /TPAMI． 2017． 2737424］
- ［74］ Wang G，Sun X L，Shang Y，et al． A robust template matching algorithm based on best-buddies similarity［J］． Acta Optica Sinica，2017，37( 3) : 274-280． ［王剛，孫曉亮，尚洋，等． 一種 基於最佳相似點對的穩健模板匹配算法［J］． 光 學 學 報， 2017， 37 ( 3 ) : 274-280．］ ［DOI: 10． 3788 /aos201737． 0315003］
- ［75］ Talmi I，Mechrez Ｒ，Zelnik-Manor L． Template matching with deformable diversity similarity［C］/ /Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Ｒecognition． Honolulu，HI: IEEE，2017: 1311-1319． ［DOI: 10． 1109 /CVPＲ． 2017． 144］
- ［76］ Talker L，Moses Y，Shimshoni I． Efficient sliding window computation for NN-based template matching［C］/ /Proceedings of the 15th European Conference on Computer Vision． Munich，Germany: Springer，2018: 409-424． ［DOI: 10． 1007 /978-3-030- 01249-6_25］
- ［77］ Korman S，Soatto S，Milam M． OATM: occlusion aware template matching by consensus set maximization［C］/ /Proceedings of 2018 IEEE /CVF Conference on Computer Vision and Pattern Ｒecognition． Salt Lake City，UT: IEEE，2018． ［DOI: 10． 1109 /CVPＲ． 2018． 00283］
- ［78］ Kat Ｒ，Jevnisek Ｒ J，Avidan S． Matching pixels using co-occurrence statistics［C］/ /Proceedings of 2018 IEEE /CVF Conference on Computer Vision and Pattern Ｒecognition． Salt Lake City， UT: IEEE，2018． ［DOI: 10． 1109 /CVPＲ． 2018． 00188］
- ［79］ Han X F，Leung T，Jia Y Q，et al． MatchNet: unifying feature and metric learning for patch-based matching［C］/ /Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Ｒecognition． Boston，MA: IEEE，2015: 3279-3286． ［DOI: 10． 1109 /CVPＲ． 2015． 7298948］
- ［80］ Zagoruyko S，Komodakis N． Learning to compare image patches via convolutional neural networks［C］/ /Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Ｒecognition． Boston，MA: IEEE，2015: 4353-4361． ［DOI: 10． 1109 / CVPＲ． 2015． 7299064］
- ［81］ Fan D Z，Dong Y，Zhang Y S． Satellite image matching method based on deep convolution neural network［J］． Acta Geodaetica et Cartographica Sinica，2018，47( 6) : 844-853． ［範大昭，董 楊，張永生． 衛星影像匹配的深度卷積神經網絡方法［J］． 測繪 學 報，2018，47 ( 6 ) : 844-853．］ ［DOI: 10． 11947 /j． AGCS． 2018． 20170627］
- ［82］ Balntas V，Johns E，Tang L L，et al． PN-Net: conjoined triple deep network for learning local image descriptors［EB /OL］． ［2018-08-09］https: / /arxiv． org / pdf /1601． 05030． pdf．
- ［83］ Yang T Y，Hsu J H，Lin Y Y，et al． DeepCD: learning deep complementary descriptors for patch representations［C］/ /Proceedings of 2017 IEEE International Conference on Computer Vision． Venice，Italy: IEEE，2017: 3334-3342． ［DOI: 10． 1109 / ICCV． 2017． 359］
- ［84］ Tian Y Ｒ，Fan B，Wu F C． L2-Net: deep learning of discriminative patch descriptor in Euclidean space［C］/ /Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Ｒecognition． Honolulu，HI: IEEE，2017: 6128-6136． ［DOI: 10． 1109 /CVPＲ． 2017． 649］.