光在霧、霾等介質中傳播時，由於粒子的散射作用導致成像傳感器採集的圖像信息嚴重降質，在很大程度上限制了圖像的應用價值。圖像去霧的目的是消除霧霾環境對圖像質量的影響，增加圖像的可視度，是圖像處理和計算機視覺領域共同關切的前沿課題，吸引了國內外研究人員的廣泛關注。

本文主要對近期的一些去霧方法進行簡要介紹總結。

傳統的去霧方法

傳統的去霧方法主要是基於先驗知識的，主要有何凱明等人暗通道先驗（Dark Channel Prior，DCP）方法，Tan等人最大對比度（Maximum Contrast，MC）方法，Zhu等人的顏色衰減先驗（Color Attenuation Prior，CAP）方法， Ancuti等人的色度不一致方法。

在這些方法中，最著名的是09年CVPR的best paper，何凱明的暗通道先驗方法，本部分將對暗通道先驗方法以及顏色衰減先驗方法進行介紹。

1.Single Image Haze Removal Using Dark Channel Prior 何凱明 2009 CVPR

本文是所有的去霧方法裏面最經典的一篇，本文是09年CVPR的best paper。作者何凱明提出了一種暗通道先驗的方法來進行去霧操作。基於暗通道先驗的去霧算法實際上是一種統計意義上的算法，作者總結了大量的室外無霧的圖像，發現了在無霧圖像中局部區域存在一些像素，這些像素中至少有一個顏色通道的亮度值非常非常低（低亮度值區域不包括天空區域）。關於此文的介紹網上非常多，這裏就不做介紹了。

參考鏈接

1. https://zhuanlan.zhihu.com/p/28875405

2. https://zhuanlan.zhihu.com/p/36785699

3. http://blkstone.github.io/2015/08/20/single-image-haze-removal-using-dark-channel/

4. http://www.cnblogs.com/Imageshop/p/3515871.html

5. http://www.cnblogs.com/Imageshop/p/3281703.html

6. https://blog.csdn.net/songhhll/article/details/12612681

7. https://blog.csdn.net/u013080652/article/details/42706301

8.K. He, J. Sun, and X. Tang, “Single image haze removal using dark channel prior,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 33, no. 12, pp. 2341–2353, 2011.

2. A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior 2015 TIP

和暗通道類似，這個color attenuation prior算法本質上也是一種統計上的發現。

之所以對於單圖像進行去霧處理是一個較難的內容是因爲一個圖像中包含的關於場景結構等信息非常少，因此很難獲得較爲全面的信息從而進行去霧。

然而，大腦在面對一幅圖像的時候其實是可以很快的分辨清楚哪裏有霧、哪裏沒有，或者很快分辨清楚近景、遠景而不需要其他太多的資料。

作者基於這一思考，通過對很多副有霧圖像進行分析發現了統計意義上的結論從而提出一個新的思路，通過對很多圖像的遠景、中景、近景進行分析發現了haze的濃度與亮度和飽和度之差呈正比。

這種方法的基本原理，依然是基於大氣退化模型的

大氣退化模型

由上式分析可以得到：

（1）直接的衰減會導致反射能量的減弱，導致亮度的低值。即公式中 J(x)t(x)

（2）大氣光成分會增強brightness的值並且降低飽和度saturation。

總結下來，即爲，當霧的程度越大，大氣光成分的的影響越大。因此，我們可以考慮通過研究saturation和brightness之間差來分析霧的濃度。

寫成表達式的形式，即爲

其中 d(x) 爲景深，c(x) 是霧的濃度，v(x), s(x) 分別是value of brightness of scene，以及saturation。這個公式就是color attenuation prior（CAP）。作者通過構建訓練樣本採集了超過500張圖像，最後得出了合適的參數。最終公式形式如下

最終的參數結果爲

參考鏈接

1. Q. Zhu, J. Mai, and L. Shao, “A fast single image haze removal algorithm using color attenuation prior,” IEEE Transactions on Image Processing, vol. 24, no. 11, pp. 3522–3533, 2015.

2. https://zhuanlan.zhihu.com/p/28942127

基於深度學習的圖像去霧方法

由於神經網絡在檢測，識別等任務上的取得了很大的進展，所以研究人員開始嘗試用基於深度學習的方法取代傳統的圖像去霧方法。

其方法主要可以分爲兩種，一種是基於大氣退化模型，利用神經網絡對模型中的參數進行估計，早期的方法大多數是基於這種思想的；另一種是利用輸入的有霧圖像，直接輸出得到去霧後的圖像。目前最新的去霧方法更傾向於後者。

在本部分，將對近三年具有代表性的一些基於神經網絡的圖像去霧方法進行介紹。

1. DehazeNet: An End-to-End System for Single Image Haze Removal 華南理工大學 16 TIP

本文是是較早的一篇利用深度學習進行去霧的文章。

它是一種端到端的訓練模型，利用神經網絡來對大氣退化模型中的t(x)進行估計。模型輸入霧圖，輸出傳輸率t(x)映射圖，然後通過大氣退化模型來恢復無霧圖像。採用深度CNN結構（4層），並提出了一種新的非線性激活函數。提高了恢復圖像的質量。

該文章算法貢獻如下：

1. end2end系統，直接學習並估計傳輸率與有霧圖像的關係。

2. 提出nonlinear激活函數，稱爲BReLU（雙邊ReLU）。

3. 分析了DehazeNet與已有去霧技術之間的關係。

作者首先對大氣退化模型進行了介紹，然後對幾種傳統的去霧方法進行了介紹：

（1）暗通道先驗（Dark Channel Prior，DCP）

文獻：He等人的暗通道先驗

（2）最大對比度（Maximum Contrast，MC）

文獻：Tan等人的Visibility in bad weather from a single image

（3）顏色衰減先驗（Color Attenuation Prior，CAP）

文獻：Zhu等人的A fast single image haze removal algorithm using color attenuation prior

（4）色度不一致

文獻：Ancuti等人的A fast semiinverse approach to detect and remove the haze from a single image

網絡結構

作者想要結合前面的四種傳統方法，進行網絡設計，網絡結構主要分爲4部分

（1）特徵提取（Feature Extraction）

（2）多尺度映射（Multi-scale Mapping）

（3）局部極值（Local Extremum）

（4）非線性迴歸（Non-linear Regression）

網絡結構

1）特徵提取（Feature Extraction）

特徵提取有別於傳統卷積神經網絡，DehazeNet採用“卷積+Maxout”的結構作爲網絡第一層。

其中F代表輸出的特徵，i代表第i個，1是是指第一層，k是指k個層進行maxout操作。W和B是權重和偏置。第一層是特徵提取層，即提取有霧圖像特徵。本文中使用了16個濾波器，通過maxout unit的激活函數，每四個輸出一張圖。這裏不padding，輸入是3*16*16三通道的塊。輸出的是四個12*12,每一個代表一種特徵。

特徵提取

作者在後面指出，“卷積+Maxout”等價於傳統的手工去霧特徵。當W1是反向（Opposite）濾波器,通道的最大等價於通道的最小值，等價於暗通道先驗（DCP）；當W1是環形（Round）濾波器, 等價於對比度提取，等價於最大對比度（MC）；當W1同時包含反向（Opposite）濾波器和全通（All-pass）濾波器，等價於RGB到HSV顏色空間轉換，等價於顏色衰減先驗（CAP）。此外，從機器學習角度，Maxout是一種樣條函數，具有更強的非線性擬合能力，如圖（d）。

（2）多尺度映射（Multi-scale Mapping）

使用多尺度的平行卷積操作。由於多尺度特徵被證明有利於去霧並且在inception的模型中也用到了平行卷積，即同一張圖用不同尺度的卷積核進行卷積。分別用16個3*3、16個5*5和16個7*7的卷積核進行卷積，每一種尺度產生16個，並且通過padding每張圖大小應該是一致的（pad見下圖）。總共獲得48個48*12*12特徵圖。

（3）局部極值（Local Extremum）

根據假設透射率有局部不變性，所以用一個7*7局部最大值濾波替代maxpooling。輸出是48個48*6*6。

4）非線性迴歸（Non-linear ）

大氣透射率是一個概率（0到1），不可能無窮大，也不可能無窮小。受到Sigmoid和ReLU激勵函數的啓發，提出雙邊糾正線性單元（Bilateral Rectified Linear Unit，BReLU），在雙邊約束的同時，保證局部的線性。

訓練過程

1.數據集

獲取自然場景的有霧和無霧的圖像是十分困難的，所以作者使用了基於物理霧霾形成模型的綜合訓練集。從因特網收集的圖像中隨機抽樣10,000個大小爲16*16的無霧霾patch。對於每個patch，作者統一採樣10個t以生成10個模糊patch，這裏爲了減小變量學習的不確定性，將大氣光A設置爲1，共生成100,000個16*16的數據。

2.損失函數

作者將t的估計偏差作爲損失函數，使用了均方差損失

參考鏈接

1. B. Cai, X. Xu, K. Jia, C. Qing, and D. Tao. Dehazenet: An end-to-end system for single image haze removal. IEEE Transactions on Image Processing, 25(11):5187–5198, 2016.

2. https://blog.csdn.net/u012556077/article/details/53364438

3. https://blog.csdn.net/yinhou1771/article/details/82682311

4. https://blog.csdn.net/u014195530/article/details/80963278

2. All-in-One Network for Dehazing and Beyond Boyi Li 2017 ICCV

本文並沒有單獨估計t（x）和大氣光A，而是通過輕量級的CNN直接生成清晰的圖像，這種端到端的設計使得其可以嵌入到其他的模型中，比如說物體檢測faster-RCNN。

該文章算法貢獻如下：

1. end2end系統，提出了一個end to end的去霧模型，完成了haze image到clear image之間的轉化通過K(x)將t(x)與A統一，基於K(x)可以完成對清晰圖像的重構。

2. 提出了新的比較去霧效果的客觀標準，定量研究去霧質量如何影響後續高級視覺任務的，同時，其模型可以和其他深度學習模型無縫嵌。

作者首先介紹了一些之前的工作，並總結了之前方法的不足，作者認爲：

（1）之前的去霧算法沒有端到端的去霧，而大多數用於圖像恢復和增強的深度學習方法完全採用端到端建模，訓練模型以直接從損壞的圖像中迴歸乾淨的圖像。作者認爲估計參數有可能會使得誤差相互放大。

（2）目前，去霧模型依賴於兩組評估標準：對於合成模糊圖像，其清晰圖像是已知的，通常計算PSNR和SSIM來進行評估；對於具有未知地面真實性的真實自然模糊圖像，唯一可用的去霧結果比較是主觀視覺質量。然而，在最先進的算法中，主觀視覺質量的評價是難以做到的。而圖像的清晰度會影響一些諸如目標檢測類視覺任務的結果，所以，之前的方法缺少將去霧結果與高級視覺任務相關聯去進行評估。

由大氣退化模型，可以得到去霧後圖像的表達式，如下：

可以看到，表達式中是有兩個未知數的，作者的想法是，將這兩個未知數化爲一個，即用K(x)將A與t（x）相統一。其中，b是具有默認值的恆定偏差。

總體網絡結構較爲簡單，主要分爲2部分

（1）K估計模塊：利用輸入圖像I（x）對未知變量K(x)進行估計

（2）乾淨的圖像生成模塊：將估計所得的K（x）作爲自適應變量輸入網絡，得到J（x）

受到DehazeNet，MSCNN的啓發，使用五個卷積層，並通過融合不同大小的濾波器形成多尺度特徵。“concat1”層連接層“conv1”和“conv2”的特徵，“concat2”連接來自“conv2”和“conv3”的那些; “concat3”連接來自“conv1”，“conv2”，“conv3”和“conv4”的那些。這種多尺度設計捕獲不同尺度的特徵。AOD-Net的每個卷積層僅使用三個濾波器。

1.損失函數

使用了簡單的均方差損失。

2.指標

除了使用PSNR和SSIM指標外，作者還聯合faster-RCNN進行了分析。

參考鏈接

1. Xu , and D. Feng . Aod-net: All-in-one dehazing network. In Proceedings of the IEEE International Conference on Computer Vision, volume 1, page 7, 2017.

2. https://zhuanlan.zhihu.com/p/47386292

3.Densely Connected Pyramid Dehazing Network Rutgers University 2018 CVPR

作者的總體思路依舊是按照大氣退化模型來進行的，作者指出，以往的方法較爲側重對傳輸圖t(x)的估計，對於大氣散射A，往往採用經驗公式去估計，沒有對A足夠的重視，所以作者對二者均進行了估計。主要貢獻如下：

1.提出了一種新型的端到端聯合優化去霧網絡，將公式嵌入到了網絡，在訓練階段採取了階段式訓練的方法。

2.提出了一種邊緣保留金字塔密集連接的編碼器 - 解碼器網絡，用於精確估計傳輸映射。此外，它通過新提出的邊緣保留損失函數進行優化。

3.利用GAN框架內的聯合鑑別器來確定配對樣本（即透射圖和去霧圖像）是否來自數據分佈。

4.對兩個合成數據集和一個真實世界的圖像數據集進行了大量實驗。進行消融研究以證明提出網絡中不同模塊所獲得的改進。

如下圖所示，網絡以下四個模塊組成：1）金字塔密集連接的傳輸圖估計網 2）大氣光估計網 3）嵌入公式 4）聯合鑑別器網絡

(1) Pyramid densely connected network for transmission map estimation

A. 用dense block做CNN的基本block來提取feature（dense block被認爲是有利於融合多尺度特徵）

B．multi-level pyramid pooling method. 是將得到的特徵用不同尺寸的pooling，四個pooling layer，然後再upsize到原尺寸（就算多尺度的feature）

(2)Atmospheric Light Estimation Network

作者同樣假設大氣光是均勻的e.g. A(z)=c constant。採用U-net來估計圖像的大氣光。

(3)嵌入公式

在估計得到傳輸圖與大氣光後，將公式嵌入作爲第三部分網絡。

(4)鑑別器

增加了一個discriminator 來更好的生成的transmission map， A(z)。

損失函數

(1)edge-preserving loss

其中，LE,l2表示整體邊緣保留損失，LE,g表示雙向（水平，垂直）梯度損失，如下

LE,f表示特徵損失，如下

(2) 判別器優化

損失函數

(3)總損失

其中，Lt由邊緣損失組成，La是預測A的l2損失，Ld表示除霧損失，也是l2損失，Lj是聯合鑑別器損失，其前面的係數是一個常量。

損失太多訓練時不好收斂，作者提出initialization stage，先分塊優化每一個小block，然後再統一訓練。

參考鏈接

1. H. Zhang and V. M. Patel. Densely connected pyramid dehazing network. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018.

4. Gated Fusion Network for Single Image Dehazing 2018 CVPR

本文提出一種基於門限融合網絡的霧霾圖像的復原方法。該門限融合網絡由一個編碼解碼網絡構成。其中，編碼網絡用於對霧霾圖像本身及其多種變換圖像進行特徵編碼，解碼網絡則用於估計這些變換圖像對應的權重。

具體而言，對一張霧霾圖像，作者對其進行多種變換，包括圖像白平衡、對比度增強和伽馬矯正等操作提取圖像內部的不同顏色或對比度特徵，然後將得到的變換圖像輸入到門限融合卷積神經網絡中，利用神經網絡對霧霾圖像的每個變換圖像估計一個權重矩陣，再利用權重矩陣對所有的變換圖像進行融合獲得最終的去霧結果圖。

另外，爲了去除恢復結果中容易出現的光暈效應（halo artifacts），作者提出了多尺度門限融合網絡，可以有效增加網絡感知野並減少光暈效應。

輸入包括四部分，原圖，三種方法預處理後的圖像，即：

白平衡操作（目的是恢復出由大氣光散射造成的顏色差異）得到 Iwb

圖像對比度增強（恢復出圖像的可視化效果）得到 Ice

gamma變換（對比度增強可能導致圖像過暗，所以還對圖像做gamma變換做增強）得到 Igc

最終的輸出可以表達爲如下形式，其中o代表逐元素相乘：

C代表conﬁdence maps for gating，是通過神經網絡所獲得的

網絡使用了encoder-decoder結構，這和U-net很像，但是其所有的feature大小保持一樣，其同樣像U-net一樣使用了前後skip連接在一起的操作。卷積層爲了獲得更大的感受野使用了空洞卷積，每個卷積層後面加上一個矯正層，網絡最後的輸出是三個權重圖C，網絡的大致結構圖如下所示:

網絡使用了三個卷積塊個三個反捲積塊，除了第一層和最後一層，每一層的大小都是32個3*3*32的卷積核，第一層卷積核的大小是5*5，最後一層用於confidence map 的重建。

進一步優化

多尺度的Refine(具有多尺度風格，以防止halo artifacts)：

通過對小尺度圖像利用上述網絡進行處理獲得輸出，然後輸出進行上採樣再送到同樣的網絡，這樣做是爲了學習得到更多的細節。每個級別的輸入都是上一個級別輸入大小的兩倍，其相應的derived的預處理圖像也是由上一個級別的輸出圖像得到的。這種級聯的結構如下所示:

損失函數

1.對於前面的網絡，對每一次的輸出取MSE損失，損失函數如下：

其中，N是金字塔級別的個數，Θ是卷積和反捲積核的權重。

2.作者還使用了GAN網絡來計算損失，添加了對抗性損失，其遵循[22]中的架構，構建了一個判別器。對抗損失定義如下：

[22] S. Nah, T. H. Kim, and K. M. Lee. Deep multi-scale convolutional neural network for dynamic scene deblurring. In CVPR, 2017. 5

3.最終的損失函數是：

在進行模型訓練的時候，和前面的文章相同，作者同樣使用的合數據集，但是作者還在合成的圖像上增加了1%的高斯噪聲來增加網絡的魯棒性。

在進行比較的時候，作者使用的指標爲結構相似性（SSIM）與峯值信噪比（PSNR）。在測試的時候，作者還在公開數據集上進行了測試。

方法在一般自然圖像中表現良好，但是在非常大的霧的情況下，不能取得良好的去霧效果。

參考鏈接

1. W. Ren, L. Ma, J. Zhang, J. Pan, X. Cao, W. Liu, and M.-H. Yang. Gated fusion network for single image dehazing.arXiv preprint arXiv:1804.00213, 2018.

2. http://tech.ifeng.com/a/20180321/44915180_0.shtml

3. https://kevinjhuang.github.io/2018/10/15/%E5%8D%9A%E5%AE%A262/

4. http://forum.xitek.com/forum.php?mod=viewthread&tid=1605692&page=1&ordertype=1

5.Gated Context Aggregation Network for Image Dehazing and Deraining 2019 WACV

本文利用GAN網絡，實現可端到端的圖像去霧，本文的重點在於解決了網格僞影（grid artifacts）的問題，該文章的方法在PSNR和SSIM的指標上，有了極大的提升，非常值得借鑑。

本文的主要亮點如下：

1. 提出端到端的去霧網絡，不依賴於先驗

2. 採用了smooth dilated convolution 代替原有的dilated convolution，解決了原來的dilated convolution導致的grid artifacts問題

3. 提出了一個gated fusion sub-network，融合high-level 及low-level 特徵，提升復原效果

總體框架

三個卷積模塊作爲編碼部分，一個反捲積和兩個卷積作爲解碼部分在二者之間插入數個smoothed dilated resblocks。

Smoothed Dilated Convolution(平滑空洞卷積)

爲了應對分割等任務， F. Yu[41] 等人提出空洞卷積（也叫擴張卷積），擴張卷積可以支持感受野的指數擴展而不會損失分辨率或覆蓋範圍。在一維情況下，給定1-D輸入f，具有內核大小k的常規卷積層w的輸出爲：

其中一個輸出點覆蓋總k個輸入點，因此感受野爲k。但是對於擴張的卷積，它可以被視爲“帶有擴張濾波器的卷積”，可以表示爲：

但是它會所謂的網格僞影，針對這一問題，作者用了一個簡單的分離卷積。

上面的圖表示的是原始的空洞卷積的工作，從圖中不同顏色的塊塊可以看出，經過dilated rate(r)>1的空洞卷積後，輸出的特徵層中相鄰的特徵值與輸入特徵層是完全獨立的，沒有相互依賴的關係，我們可以知道，圖像是具有局部相關性的，同理，特徵層也應該保留這個特性。

下面的圖是經過改進的空洞卷積，在執行dilated rate>1的空洞卷積之前，做了一次核爲（2r-1）的分離卷積，卷積的參數共享，經過該層卷積之後，每一個特徵點都融合了周圍（2r-1）大小的特徵。該操作僅僅增加了(2r-1)(2r-1)大小的參數，卻能有效的解決grid artifacts問題。

Gated Fusion Sub-network（門控融合子網）

該子網絡主要是融合了不同層次的特徵信息，以往的網絡都是直接添加short-cut操作進行信息融合，本文的Gate fusion network 爲不同層次的特徵分別學習了權重，最後加權得到融合的特徵層。

損失函數

簡單的均方差損失

參考鏈接

1. Chen D , He M , Fan Q , et al. Gated Context Aggregation Network for Image Dehazing and Deraining[J]. 2018.

2. http://www.cnblogs.com/jingyingH/p/10061286.html

3. https://www.jianshu.com/p/6abff04c5f11

4. https://blog.csdn.net/suixinsuiyuan33/article/details/7945106

6.Towards Perceptual Image Dehazing by Physics-based Disentanglement and Adversarial Training 2018 AAAI

作者認爲，之前的基於先驗知識的去霧，缺點在於先驗知識不是在任何情況都滿足的（比如說多光源，大霧），並且不是監督訓練的，而基於CNN的去霧需要訓練集是成對的，即同時有有霧圖像與無霧圖像，而一個有效的去霧模型應該能夠學習無霧圖像到有霧圖像的映射，無需使用paired supervision。

並且人類對於去霧後的圖像應該和無霧圖像的感知是一樣的。基於以上觀點，作者提出了Disentangled Dehazing Network，主要貢獻如下：

1. 提出一種基於解耦的新型去霧網絡

2. 收集了具有挑戰性的數據集，包含800多個自然模糊圖像與1000個無霧的室外場景圖像

3. 通過對合成和真實圖像的數據集的廣泛實驗來評估感知圖像去霧

解耦網絡 Disentangled Dehazing Network

作者引入基於基於解耦與重建的物理模型，目標是將有霧圖像解耦爲隱藏要素，再利用隱藏要素重建圖像。

損失函數包含三部分，重建損失，對抗損失，正則化損失

（1）在重建損失中，使用L1損失函數，從而像素級一致性和較少模糊（與L2損失相比）

（2）爲了生成both perceptually pleasing and hazefree images，作者其對中間輸出J引入了多尺度生成訓練，受到（Isola et al. 2017) and (Zhu et al. 2017)啓發，作者使用了patch-level discriminator，並進行了改進，使用了局部鑑別器和全局鑑別器。多尺度對抗損失爲：