目錄
摘要
惡劣的天氣條件，如霧霾和雨水，會破壞捕獲圖像的質量，導致訓練在乾淨圖像上的檢測網絡在這些圖像上表現不佳。爲了解決這一問題，我們提出了一種無監督的基於先驗的領域對抗目標檢測框架，使檢測器適應於霧濛濛和多雨的條件。基於這些因素，我們利用利用圖像形成原理獲得的特定天氣的先驗知識來定義一個新的先驗-對抗性損失。用於訓練適應過程的前對抗性損失旨在減少特徵中與天氣相關的信息，從而減輕天氣對檢測性能的影響。此外，我們在目標檢測管道中引入了一組殘差特徵恢復塊來消除特徵空間的扭曲，從而得到進一步的改進。針對不同情況(如霾、雨)，在不同數據集(霧城景觀、雨城景觀、RTTS和UFDD)上進行的評估顯示了所提方法的有效性。
1、簡介
目標檢測[53,12,17,16,34,43]是文獻中被廣泛研究的課題。儘管基於深度學習的檢測器在基準數據集上取得了成功[10,9,15,33]，但它們在歸納幾種實際情況(如惡劣天氣)方面的能力有限。最近，一些真實世界的視覺應用，如自主導航[41,26,32,55]，基於無人機的監視[40,62]和視頻監視/取證[6,3]得到了極大的興趣。在這些應用中，物體探測器是一個重要的支柱，因此，即使在惡劣的天氣條件下，探測器也必須可靠地工作。與一般的目標檢測問題相比，對探測器適應惡劣天氣條件的研究相對較少。
解決這個問題的一種方法是使用現有的方法對圖像進行預處理，如圖像去霧[11,20,60]和/或去霧[30,59,58]，從而消除天氣條件的影響。然而，這些方法通常涉及複雜的網絡，需要在像素級監督下單獨訓練。此外，如[47]中所述，這些方法還涉及某些後處理，如伽馬校正，這仍然會導致域偏移，因此，這些方法無法實現最佳性能。和[47]一樣，當我們使用最先進的dehaze/derain方法作爲檢測前的預處理步驟時，我們觀察到在檢測性能上的微小改進(見第4節)。此外，這種額外的預處理將導致推理時計算開銷的增加，這在資源受限/實時應用程序中並不可取。另一種方法是在包含這些不利條件的數據集上重新訓練探測器。然而，創建這些數據集通常需要很高的標註/標籤成本。
最近，一些方法[5,49,45]試圖克服這個問題，將惡劣天氣條件下的目標檢測視爲一項無監督的領域適應任務。這些方法認爲，與訓練探測器的圖像(源圖像)相比，在不利條件下捕獲的圖像(目標圖像)存在分佈偏移[5,18]。假設源圖像被完全註釋，而目標圖像(基於天氣的退化)沒有註釋。他們提出了在對源圖像進行訓練的同時，將目標特徵與源特徵進行對齊的不同技術。這些方法在其方法中存在固有的侷限性，因爲它們只使用領域適應的原則，而忽略了在基於天氣的退化情況下現成的附加信息。
我們考慮以下關於基於天氣的退化的觀察，這些觀察在早期的工作中被忽略了。(i)在天氣條件(如霾和雨)下捕獲的圖像可以進行數學建模(見圖1(a)， Eq. 8和9)。例如，一個模糊圖像是由乾淨圖像(經過透射圖衰減)和大氣光疊加而成的[11,20]。同樣，雨天圖像被建模爲乾淨圖像和雨殘圖像的疊加[30,58,59](見圖1(a))。換句話說，受天氣影響的圖像包含特定的天氣信息(我們稱之爲先驗)——如有模糊圖像，則包含傳輸圖;如有雨圖像，則包含雨殘留。這些特定於天氣的信息/先驗原因在特徵空間中退化，導致較差的檢測性能。因此，爲了減少特徵的退化，關鍵是通過消除特徵中與天氣相關的先驗，使特徵具有天氣不變性。(ii)此外，必須指出的是，基於天氣的退化在空間上是不同的，因此對所有空間位置的特徵的影響並不相同。由於現有的域自適應檢測方法[5,49,45]將所有位置全部標記爲目標，假設整個圖像不斷退化，所有空間位置受到同等影響(圖1(b))。這將導致不正確的對齊，特別是在圖像的退化最小的區域。
基於這些觀察結果，我們定義了一種新的前對抗式損失，它使用關於目標域(受天氣影響的圖像)的額外知識來對齊源和目標特徵。具體來說，建議的損失被用來訓練一個先驗估計網絡，從主要分支的特徵中預測特定天氣的先驗，同時最小化特徵中呈現的特定天氣信息。這將在主分支中產生天氣不變特性，從而減輕天氣的影響。此外，在損失函數中使用先驗信息會導致與退化量直接相關的空間變化損失(如圖1(b)所示)。因此，使用prior可以避免不正確的對齊。
最後，考慮到基於天氣的退化會導致特徵空間的扭曲，我們在目標檢測管道中引入一組殘差特徵恢復塊來消除特徵的扭曲。這些塊受到了[21]中剩餘轉移框架的啓發，得到了進一步的改進。我們對不同的數據集進行了廣泛的評估，如霧都景觀[47]、RTTS[28]和UFDD[39]。此外，我們還創建了一個雨城景觀數據集，用於評估不同檢測方法在雨天情況下的性能。各種實驗表明，該方法在所有數據集上的性能都優於現有方法。
2、相關工作
目標檢測：目標檢測是計算機視覺研究的熱點之一。這個問題的典型解決方案已經從基於滑動窗口分類的方法[53,8]發展到最新的基於錨的卷積神經網絡方法[43,42,34]。Ren等人開創了流行的兩階段快速- rcnn方法。一些作品提出了單階段框架，如SSD [34]， YOLO[42]等，可以直接預測對象標籤和邊框座標。在之前的工作[5,49,45,25,24]之後，我們使用Faster-RCNN作爲基礎模型。
無監督域適配：無監督域適應定義爲具有不同分佈的對齊域，即源域和目標域。假設源數據集中的圖像具有註釋，而不提供目標圖像的註釋信息。最近提出的一些無監督域自適應方法包括特徵分佈對齊[52,14,50,46]，殘差轉移[36,37]和圖像到圖像的平移方法[23,38,22,48]。在特徵分佈對齊中，利用敵對目標學習領域不變特徵。通常，這些方法使用梯度反轉層實現，特徵生成器和領域分類器進行對抗式博弈，生成與源特徵分佈一致的目標特徵。非監督域自適應的研究大多集中在分類/分割問題上，而諸如目標檢測等任務則相對缺乏探索。
對抗條件下的域適配目標檢測：與一般的檢測問題相比，在惡劣天氣條件下的檢測探索相對較少。現有的方法[5,49,45,25]試圖從領域適應的角度來解決這一任務。Chen等人[5]假設不利的天氣條件會導致域漂移，他們提出了一種域自適應快速R-CNN方法來克服這一問題，該方法在圖像級和實例級處理域漂移。Shan等[49]提出在圖像層面使用Cycle-GAN框架進行聯合自適應[61]，在特徵層面使用傳統的域自適應損失進行聯合自適應。Saito等人[45]認爲，在全球層面上，特徵的強對齊可能會影響檢測性能。因此，他們提出了一種局部特徵強對齊和全局特徵弱對齊的方法。Kim等人[25]對標記數據進行多樣化處理，然後利用多域鑑別器進行對敵學習。Cai等[4]在半監督設置中使用mean teacher framework解決了這一問題。Zhu等人[63]提出了區域挖掘和區域級對齊，以正確對齊源和目標特徵。Roychowdhury等人的[44]使檢測器適應於一個新的域，假設有來自目標域的大量視頻數據可用。這些視頻數據被用來生成目標集的僞標籤，這些僞標籤被用來訓練網絡。最近，Khodabandeh等人[24]用噪聲標籤表述了領域適應訓練。具體來說，該模型在目標域上使用一組噪聲邊界盒進行訓練，這些邊界盒由僅在源域上訓練的檢測模型得到。
3、提出的方法
我們假定標記的乾淨數據
來自源域
，並且來自目標域的未標記且受天氣影響的數據是可以獲得的。這裏，
指的是外接框標註，並且相應的分類標籤爲潔淨圖像
指的是受天氣影響的數據，
是源域
的總共樣本數，
是目標域的總共樣本數。我們的目標是利用源域和目標域的可用信息來學習一個網絡，以減少基於天氣的條件對檢測器的影響。該方法包含檢測網絡、先驗估計網絡和殘差特徵恢復模塊。圖2給出了所提模型的概述。在源訓練過程中，將一幅源圖像(乾淨圖像)傳遞給檢測網絡，通過最小化檢測損失來學習權值，如圖2帶源管道所示。對於目標訓練，目標管道通過網絡轉發一幅目標圖像(受天氣影響的圖像)，如圖2所示。如前所述，基於天氣的退化會導致目標圖像的特徵空間失真。爲了消除這些特徵的失真，我們在目標管道中引入一組殘差特徵恢復塊，如圖2所示。該模型借鑑了[36]中的殘差傳遞框架，用於殘差特徵的建模。該筆通過對抗訓練提供反饋，利用先前的對抗損失，幫助檢測網絡適應目標域。在接下來的章節中，我們簡要回顧了主幹網絡，然後討論了提出的前對抗式損失和殘差特徵恢復塊。
3.1、檢測網絡
遵循現有的域自適應檢測方法[5,49,45]，我們的方法基於Faster-RCNN[43]框架。Faster-RCNN是最早的基於端到端CNN的目標檢測方法之一，使用基於錨的策略進行檢測和分類。本文將Faster-RCNN分解爲特徵提取網絡(F)、區域建議網絡(RPN)和區域分類網絡(RCN)三個網絡模塊。這些模塊的佈局如圖2所示，VGG模型架構爲基礎網絡。這裏，特徵提取器網絡由VGG的前5個conv塊組成，區域分類網絡模塊由VGG的全連通層組成。區域建議網絡利用特徵提取網絡的輸出，以類不可知的方式生成一組候選目標區域。從特徵提取器中彙集與候選特徵相對應的特徵，通過區域分類網絡轉發，得到目標分類和邊界盒細化。由於我們可以訪問源域圖像及其對應的ground truth，我們訓練這些網絡通過最小化以下損失函數來對源域進行檢測，
這裏，
代表區域建議和區域分類網絡。
代表區域建議損失。
代表BB迴歸損失，並且
代表區域迴歸損失。這些個別損失成分的詳細信息可以在[43]中找到。
3.2、Prior-adversarial訓練
如前所述，受天氣影響的圖像包含特定領域的信息。這些圖像通常遵循圖像退化的數學模型(見圖1(a)， Eq. 8和Eq. 9)。我們將該領域的特定信息作爲先驗。關於之前的霧霾和雨的詳細討論將在本節的後面提供。我們的目標是利用這些天氣領域的先驗，以更好地適應探測器天氣影響的圖像。爲此，我們提出了一種基於先驗的對敵訓練方法，該方法使用先驗估計網絡(PEN)和先驗對敵損失(PAL)。
使
是第l個卷積層F後引入的PEN模塊，並且使得
爲任何圖像對應的特定域的先驗，
。然後，源域的PAL定義如下：
其中，U和V是域指定先驗
和
輸出特徵的高度和寬度。
代表源域先驗，從圖像層先驗來縮小比例來匹配第l個卷積塊的尺度。同樣地，對源域圖像的PAL，
，對應的先驗
可以定義爲：
其中，我們在conv4 (l=4)和conv5 (l=5)塊後應用PAL(如圖2所示)。因此，對抗性損失的最終來源和目標爲:
先驗估計網絡(P5和P4)從從F中提取的特徵中預測特定天氣的先驗，然而，特徵提取網絡F(不包含特定天氣的先驗)並阻止PEN模塊正確估計特定天氣的先驗。由於這種類型的訓練包括預先預測，也讓人想起領域適應中使用的對抗性學習，我們將這種損失稱爲預先對抗性損失。在收斂時，特徵提取器網絡F應該沒有任何特定天氣信息，因此先驗估計網絡P5和P4都不能正確估計先驗。請注意，我們的收斂目標不是估計正確的先驗，而是學習天氣不變特徵，以便檢測網絡能夠很好地推廣到目標域。該訓練過程可表示爲如下優化：
此外，在傳統的區域自適應中，爲整個目標圖像分配一個單一的標籤來訓練區域鑑別器(圖1)(c))。這樣做，就假定整個圖像經歷了恆定的域位移。然而，這在受天氣影響的圖像中是不正確的，因爲退化隨空間變化(圖1)(b))。在這種情況下，定域位移的假設會導致不正確的對齊，特別是在退化最小的區域。結合特定天氣先驗克服了這個問題，因爲這些先驗是隨空間變化的，並且與退化量直接相關。因此，利用特定天氣的先驗結果來更好地對齊。
霧霾先驗：霾對圖像的影響在文獻[11,20,60,31]中得到了廣泛的研究。現有的圖像去霧方法大多依賴於大氣散射模型來表示霧天條件下的圖像退化，其定義爲：
其中I爲觀測到的模糊圖像，J爲真實場景亮度，A爲全局大氣光，表示環境光強度，t爲透射圖，z爲像素位置。透射圖是一個依賴於距離的因素，它影響到達相機傳感器的光的比例。當大氣光A爲均勻時，透射圖可以表示爲
，其中，
爲大氣的衰減係數，鄭重爲場景深度。
通常，現有的去霧方法首先估計透射圖和大氣光，然後在公式(8)中使用它們來恢復觀測到的亮度或乾淨圖像。透射圖包含了關於霧域的重要信息，具體地表示了光的衰減因子。我們使用這種傳輸作爲域先驗來監督先驗估計(PEN)，同時適應模糊的條件。此外，我們使用[20]之前的暗信道，而不是依賴於實際的地面真值傳輸圖。
雨先驗：與去霧類似，圖像去霧方法[30,58,59,29,57]也假設一個數學模型來表示退化過程，定義如下：
其中I爲觀測到的雨天圖像，J爲期望的乾淨圖像，R爲雨殘差。該公式將雨景圖像建模爲乾淨的背景圖像與雨殘體的疊加。雨殘點包含了特定圖像的特定區域雨殘點信息，因此，在適應雨天條件的同時，可以作爲區域特定先驗來監測先驗估計網絡(PEN)。類似於霧霾，我們不依賴地面的真實降雨殘留物。相反，我們使用[30]中預先描述的雨層來估計雨殘量，從而避免了使用昂貴的人工註釋來獲得雨殘量。在上面討論的兩種情況(霧霾先驗和雨先驗)中，我們不使用任何地面真值標籤來估計各自的先驗。因此，我們的總體方法仍然屬於無監督的適應。此外，可以對訓練圖像預先計算這些先驗，以減少學習過程中的計算開銷。此外，推理過程中不需要預先計算，因此，所提出的自適應方法不會造成任何計算開銷。
3.2、殘差特徵恢復模塊
如前所述，天氣退化會在特徵空間中引入失真。在目標前饋管道中引入了一組殘差特徵恢復塊(RFRBs)來輔助去失真處理。這是受到了[36]中剩餘傳輸網絡方法的啓發。設∆Fl爲第l個卷積塊處的殘差特徵恢復塊。對目標域圖像前饋進行改進，加入殘差特徵恢復塊。對於∆Fl，第l個卷積塊處的前饋方程爲：
其中
指的是從第l個卷積層提取的特徵，對任何使用特徵提取網絡
從目標域提取出的圖像
。
指的是從輸出的第
卷積層提取的殘差特徵。
指的是對任何利用RFRB調整的前傳圖像從第l個卷積塊提取特徵。RFRB如圖2所示，如前傳pipeline所示。對源域的前傳pipline沒有影響。在我們的情況下，我們同時在
和
塊上使用RFRB。此外，通過對殘差特徵的規範約束來規範殘差特徵的影響。RFRBs的正則化損失，∆F4，∆F5定義爲：
3.4、整體的損失
訓練網絡的總損失定義爲：
這裏，F表示特徵提取網絡，P表示第四和第五卷積塊後面採用的兩個先驗估計網絡，例如，
，並且
表示第四和第五卷積層上的
。同樣，
是源域檢測損失，
是正則化損失，
是基於先驗的對抗訓練的整體對抗損失。
4、實驗和結果
4.1、實驗細節
我們採用[45,5]的訓練協議來訓練Faster-RCNN網絡。所有實驗的骨幹網絡爲VGG16網絡[51]。我們使用RFRB對VGG16網絡的卷積塊C4和C5進行殘差建模。PA損失只適用於這些用RFRBs建模的conv塊。PA損失的設計是基於適應設置(霧或雨)。前兩個conv塊的參數被凍結，類似於[45,5]。在補充資料中提供了RFRBs、筆和鑑別器的詳細網絡架構。在訓練過程中，我們通過ROI對齊將圖像較短的一側設置爲600。我們對所有網絡進行70K次迭代訓練。對於前50K次迭代，學習率設置爲0.001，對於後20K次迭代，學習率設置爲0.0001。我們報告了70K次迭代後基於訓練模型的性能。對於所有的實驗，我們都將其設置爲等於0.1。除了與最近的方法進行比較外，我們還進行了消融研究，評估以下配置，以分析網絡中不同組件的有效性。請注意，我們逐步添加了額外的組件，這使我們能夠衡量每個組件獲得的性能改進，
FRCNN：在源數據集上訓練Faster-RCNN的Source - only基線實驗。
FRCNN+D5：由Faster R-CNN和域識別器組成的域自適應基線實驗。
FRCNN+D5+R5：從FRCNN+D5作爲基本配置開始，我們在對更快的rcnn進行conv4之後添加了一個RFRB塊。這個實驗讓我們瞭解了RFRB塊的貢獻。
FRCNN+P5+R5：我們從FRCNN+D5+R5配置開始，用先驗估計網絡(PEN)和先驗對敵損失(PAL)替代域鑑別器和域對敵損失。通過這個實驗，我們證明了訓練前對抗損失的重要性。
FRCNN+P45+R45：最後，我們在conv4和conv5兩種尺度上進行基於先驗的特徵對齊。從FRCNN+P5+R5配置開始，我們在conv3之後添加了RFRB塊，在conv4之後添加了PEN模塊。該實驗對應於圖2所示的配置。該實驗證明了整體方法的有效性，並確立了網絡中多級特徵對齊的重要性。
遵循現有方法設置的協議[5,49,45]，我們使用平均平均精度(mAP)評分進行性能比較。
4.2、適配到霧霾條件
在本節中，我們在以下數據集上給出了與適應霧霾條件相對應的結果:(i)Cityscapes→Foggy-Cityscapes[47]，(ii)Cityscapes→RTTS [27]， (iii)WIDER[56]→UFDD-Haze[39]。在前兩個實驗中，我們將Cityscapes[7]作爲源域。注意，Cityscapes數據集包含在晴朗天氣條件下捕獲的圖像。
Cityscapes→Foggy-Cityscapes：在這個實驗中，我們從城市景觀適應霧都城市景觀[47]。最近[47]中提出了霧天城市景觀數據集，用於研究霧天天氣條件下的檢測算法。基於城市景觀數據集，在城市景觀的晴空圖像上模擬霧，得到霧天城市景觀。城市風景和霧都有相同數量的分類，包括，汽車，卡車，摩托車/自行車，火車，公共汽車，騎手和人。與[5]、[45]類似，我們利用2975張城市景觀和霧靄城市景觀的圖像進行訓練。注意，我們只使用來自源數據集(Cityscapes)的註釋來訓練檢測管道。爲了進行評估，我們考慮了Foggy-Cityscapes數據集提供的500幅圖像的非重疊驗證集。我們將提出的方法與兩類方法進行比較:(i) Dehaze+ detection:這裏我們使用去霧網絡作爲預處理步驟，使用在源(乾淨)圖像上訓練的Faster-RCNN進行檢測。對於預處理，我們選擇了兩種最新的去霧算法:DCPDN[60]和網格去霧[35]。(i)基於da的方法:在這裏，我們比較了最近的領域自適應檢測方法:DA-Faster [5]，SWDA [45]， diversity - match [25]， Mean Teacher with Object Relations (MTOR) [4]， Selective Cross-Domain Alignment (SCDA)[63]和[24]。結果如表1所示。由表1可以看出，在模糊條件下，Fast R-CNN的單純源訓練效果一般較差。添加DCPDN和Gird-Dehaze作爲預處理步驟，性能分別提高2%和4%。與領域自適應檢測方法相比，預處理+檢測的性能增益較低。這是因爲即使在應用去霧之後，仍然會有一些疇移，如第1節所討論的。因此，使用適應將是減少領域轉移的更好方法。在這裏，使用簡單的域自適應[14](FRCNN+D5)提高了僅限源的性能。RFRB5 (FRCNN+D5+R5)的加入進一步提高了RFRB塊的重要性。然而，傳統的域自適應損失假設整個圖像的恆定域移動，導致不正確的對準。使用前對抗性損失(FRCNN+P5+R5)克服了這個問題。我們在總體地圖得分上提高了3.6%，從而證明了之前對抗訓練的有效性。請注意，FRCNN+P5+R5基線實現了與最先進水平相當的性能。最後，通過在額外的尺度(FRCNN+P45+R45)上進行前對抗適應，我們實現了進一步的改進，比現有的最佳方法[24]高出2.8%。圖3給出了霧都景觀圖像對應的樣本定性檢測結果。結果與DA-Faster-RCNN[5]進行了比較。可以看到，該方法能夠產生相對高質量的檢測結果。我們將觀察結果總結如下:(i)使用去霧處理作爲預處理步驟，相對於基線Faster-RCNN的改進極小。領域自適應方法通常性能更好。(ii)所提出的方法在總體得分上優於其他方法，並且在大多數班級中都取得了最好的成績。更多洗禮見補充材料。
Cityscapes → RTTS：在這個實驗中，我們從城市景觀適應RTTS數據集[27]。RTTS是一個更大的居住數據集[27]的子集，它包含4,807個未註釋的和4,322個註釋的真實世界的模糊圖像，主要覆蓋交通和駕駛場景。我們使用未註釋的4,807張圖像來訓練域適應過程。對帶註釋的4,322張圖像執行評估。RTTS共有五類，即摩托車/自行車、人、自行車、公共汽車和汽車。該數據集是最大的可用數據集的目標檢測下的真實世界朦朧條件。表2將本文方法的結果與Faster-RCNN[43]、DA-Faster[5]、SWDA[45]以及dehaze+檢測基線進行比較。對於RTTS數據集，使用DCPDN進行預處理可以將更快的rcnn性能提高約1%。令人驚訝的是，Grid-Dehaze並不能幫助更快的rcnn基線，反而導致更糟糕的性能。然而，所提出的方法比baseline Fast R_CNN(僅源訓練)提高了3.1%，同時優於其他最近的方法。
WIDER-Face → UFDD-Haze：最近，Nada等人[39]發佈了一個基準的人臉檢測數據集，該數據集包含了在不同天氣條件下(如霾和雨)捕捉到的真實世界圖像。具體來說，這個數據集包含442張霾類圖像。由於人臉檢測與目標檢測任務密切相關，因此我們將大人臉[56]數據集應用於UFDD-Haze數據集來評估我們的框架。WIDER-Face是一個大規模的人臉檢測數據集，擁有大約32,000張圖像和199K的人臉註釋。該適應實驗的結果如表3所示。從表中可以看出，與其他方法相比，該方法取得了更好的性能。
4.3、適配雨場景
在本節中，我們將介紹適應多雨條件的結果。由於缺少適合這種特殊設置的數據集，我們創建了一個名爲rain- Cityscapes的新的雨天數據集，它來自Cityscapes。它的訓練和驗證圖像的數量與城市霧靄一樣多。首先，我們介紹了用於創建數據集的模擬過程，然後討論了該方法與其他方法在這個新數據集上的評價和比較。
Rainy-Cityscapes：與霧城市景觀類似，我們使用城市景觀中的3475張圖像的子集來創建合成的雨數據集。利用[2]合成了幾種含有人工雨紋的掩模。雨紋是使用不同的高斯噪聲級別和70到110之間的多個旋轉角度創建的。接下來，對於Cityscapes數據集子集中的每一張圖像，我們選擇一個隨機的雨遮罩，並將其與圖像混合以生成合成的雨遮罩圖像。補充材料中提供了更多的細節和示例圖像。
Cityscapes→Rainy-Cityscapes：在這個實驗中，我們從城市景觀適應到雨城市景觀。我們將提出的方法與最近的方法如DA-Faster[5]和SWDA[45]進行了比較。此外，我們還評估了兩種derain+檢測基線的性能，其中最新的方法如DDN[13]和SPANet[54]被用作對在源(乾淨)圖像上訓練的Fast R-CNN的預處理步驟。從表4中我們可以看到，這些方法對更快的rcnn基線進行了合理的改進。然而，由於前面幾節(第1節、第4.2節)中討論的原因，與適應方法相比，性能的提高要小得多。此外，從表4可以看出，所提出的方法顯著優於其他方法。此外，我們還提供了由第4.1節所列實驗組成的燒蝕研究結果。引入域適應損失顯著提高了source only Faster-RCNN基線，導致表4中FRCNN+D5基線提高約9%。在FRCNN+D5+R5基線中，利用殘差特徵恢復塊進一步提高了1%的性能。當領域對抗性訓練被之前的PAL對抗性訓練(即FRCNN+P5+R5基線)取代時，我們觀察到2.5%的改進，顯示了所提出的訓練方法的有效性。最後，通過在多個尺度上進行先前的對抗訓練，所提出的方法FRCNN+P45+R45觀察到大約2%的改進，並且比次優的方法SWDA[45]多出1.6%。圖8顯示了使用所提方法與最近的[5]方法所得到的樣本檢測結果。該方法獲得了較好的檢測質量。
WIDER-Face → UFDD-Rain：在本實驗中，我們採用了從寬面到雨面[39]的適應性。UFDD-Rain數據集包括628張在雨天收集的圖像。與其他方法相比，本文方法的結果如表3所示。可以看到，本文提出的方法比單純的源訓練效果好7.3%，是目前幾種方法中效果最好的。由於篇幅限制，我們在補充材料中提供了關於所提議的方法的額外細節，包括結果、分析和擴展到其他不利條件的討論。
5、結論
我們解決了使物體檢測器適應霧濛濛和多雨條件的問題。觀察到這些天氣條件會導致退化，而退化可被數學建模，並在特徵空間中造成空間變化的扭曲，基於此，我們提出了一種新的前對抗性損失，旨在產生天氣不變特徵。此外，還引入了一組殘差特徵恢復塊來學習殘差特徵，有效地輔助自適應過程。在模糊城市景觀、RTTS和UFDD等基準數據集上對該框架進行了評估。通過大量的實驗，我們證明我們的方法在所有數據集中取得了顯著的進步比最近的方法。