本文總結歸納自論文 image quality assessment: from error visibility to structural similarity
概述
這篇文章主要介紹對圖像質量進行打分評價的一個很經典的指數——結構相似性（structual similarity, SSIM）。
具體一點兒來說，圖像在各種情況下都有可能失真，比如經過傳輸、壓縮和縮放等等。圖片變換之後，我們自然很想知道失真圖像（distorted image）的質量如何，也就是要對它進行圖像質量評價（image quality assessment）。注意這種評價應用很廣泛，比如可以用作神經網絡中的損失函數來度量生成圖片的質量。所以瞭解這個指數是很有用滴~
總體來講，本文提出了一種符合人類直覺的圖像質量評價標準，叫做SSIM。SSIM的全稱爲structural similarity，也就是”結構相似性“的意思。從名字上我們不難發現，這種指標是在致力於向人類的真實感知看齊。
主觀 VS 客觀
那麼現在問題來了，圖像質量究竟要怎麼評呢？大體來說，評價標準分爲兩類：**客觀（objective）評價標準和主觀（subjective）**評價標準。其中：
- 客觀評價標準中會設計一個可見性誤差（visibility of error）函數，這個函數會以某種標準計算參考圖像（reference image）（也就是未失真的原始圖像）和失真圖像之間的差距，最後用計算出的值作爲指標來衡量失真圖像的質量。這些指標通常是根據**人類視覺系統（human visual system, HVS）**的特點設計的。
- 而主觀評價標準就不一樣了，它並非輸入圖片後自動化地輸出一個數值，而是以人的感覺爲標準，說白了就是讓人（稱爲觀察者）看看。例如找一些志願者評分，然後取均值。
簡而言之，客觀的評價標準就是計算一個數字，主觀評價就是看人的感受，相信讀者應該不難理解~
這一部分的講解我參考了下面這個鏈接中的說明：
State Objective and Subjective Fidelity Criteria of Image evaluation
客觀評價標準的應用
客觀評價標準在很多方面有應用：
- 動態監控（monitor）和調整圖片質量：比如，網絡上用於傳輸視頻的服務器可以通過監控傳送質量來控制和分配視頻流的資源。
- 優化（optimize）圖像處理系統（image processing system）中的算法和參數：例如，在一個視覺通信系統中，可以用一個量來協助尋找編碼解碼算法的最優解等。
- 作爲一個通用的評價標準衡量圖片質量：大家可以通過使用公認的同一個量來比較各自的方法優劣。
客觀評價標準的分類
根據評價失真圖片的時候是否需要參考原始圖片，客觀評價標準可分爲下面三類（分類名稱是我自己隨便翻譯的不一定通用，大家懂意思就好）：
- 全參考（full reference）：評價時可以知道完全獲取的整張原始圖片。
- 無參考（no reference）：評價圖片是完全不知道原始圖片是怎樣的。
- 部分參考（reduced reference）：評價是隻能獲取到原始圖片的部分特徵（feature），比如直方圖之類的統計信息。
這篇文章提出的SSIM是基於全參考的。
常見的客觀評價標準
常見的評價量主要有：
- MSE：MSE是mean square error的縮寫，也就是均方誤差。這是最簡單粗暴的一個量。它首先計算失真圖片與原圖每在個像素上差的平方，然後取均值。
- PSNR：這個量全稱爲峯值信噪比（peak signal-to-noise ration），這個量很容易計算（粗略地說是對圖像上的最大值和MSE進行比較），而且有明確的物理意義，優化也方便，在很多地方都使用。
最終評價：你說了算！
俗話說，”實踐是檢驗真理滴唯一標準“，我們最終還是要看人對圖片的感知的，客觀評價標準有時候很不靠譜。
舉個栗子，假設我們使用MSE來度量圖片質量（也就是取圖片與原圖每個像素上差的平方，然後計算均值），那麼我們直覺上會認爲這個數字越小越好。同樣的MSE應該代表差不多的失真程度。但真的是這樣麼？我們來看下面這張圖，圖中(a)是原圖，其餘的圖片都是有失真的，它們的圖片質量在人類看來相差非常大，但是它們的MSE是一樣的！
所以，要想設計一個好的評價標準並不容易，我們認爲人類具有很強的識別結構的能力，因此我們應該儘量設計一個能體現結構上的相似程度的量，這正是我們的SSIM的目標！
SSIM是基於局部圖案的亮度、對比度進行計算的，具體的講解會在下一篇文章中介紹。