反向投影在模板匹配中的應用

1.需要知道的問題。

• 什麼是反向投影，它可以實現什麼功能？
• 如何使用OpenCV函數 calcBackProject 計算反向投影？
• 如何使用OpenCV函數 mixChannels 組合圖像的不同通道？

2.原理

  （1）什麼是反向投影？

• 反向投影是一種記錄給定圖像中的像素點如何適應直方圖模型像素分佈的方式。
• 簡單的講， 所謂反向投影就是首先計算某一特徵的直方圖模型，然後使用模型去尋找圖像中存在的該特徵。
• 例如， 你有一個膚色直方圖 ( Hue-Saturation 直方圖 ),你可以用它來尋找圖像中的膚色區域。

  （2）反向投影的工作原理?

• 我們使用膚色直方圖爲例來解釋反向投影的工作原理:

• 假設你已經通過下圖得到一個膚色直方圖(Hue-Saturation)， 旁邊的直方圖就是 模型直方圖 ( 代表手掌的皮膚色調).你可以通過掩碼操作來抓取手掌所在區域的直方圖:

                 

• 下圖是另一張手掌圖(測試圖像) 以及對應的整張圖像的直方圖：                        
•              

• 我們要做的就是使用 模型直方圖 (代表手掌的皮膚色調) 來檢測測試圖像中的皮膚區域。以下是檢測的步驟：

  1. 對測試圖像中的每個像素 (  ),獲取色調數據並找到該色調(  )在直方圖中的bin的位置。

  2. 查詢 模型直方圖 中對應的bin -  - 並讀取該bin的數值。

  3. 將此數值儲存在新的圖像中(BackProjection)。 你也可以先歸一化 模型直方圖 ,這樣測試圖像的輸出就可以在屏幕顯示了。

  4. 通過對測試圖像中的每個像素採用以上步驟， 我們得到了下面的 BackProjection 結果圖:

  使用統計學的語言, BackProjection 中儲存的數值代表了測試圖像中該像素屬於皮膚區域的 概率 。比如以上圖爲例， 亮起的區域是皮膚區域的概率更大(事實確實如此),而更暗的區域則表示更低的概率(注意手掌內部和邊緣的陰影影響了檢測的精度)。

3.代碼。

這段代碼是基於OpenCV來做的，主要完成以下功能：

• 裝載圖像

• 轉換原圖像到 HSV 格式，再分離出 Hue 通道來建立直方圖 (使用 OpenCV 函數 mixChannels)

• 讓用戶輸入建立直方圖所需的bin的數目。

• 計算同一圖像的直方圖 (如果bin的數目改變則更新直方圖) 和反向投影圖。

• 顯示反向投影圖和直方圖。

  #include "opencv2/imgproc/imgproc.hpp"
  #include "opencv2/highgui/highgui.hpp"
  
  #include 
  
  using namespace cv;
  using namespace std;
  
  /// 全局變量
  Mat src; Mat hsv; Mat hue;
  int bins = 25;
  
  /// 函數申明
  void Hist_and_Backproj(int, void* );
  
  /** @函數 main */
  int main( int argc, char** argv )
  {
    /// 讀取圖像
    src = imread( argv[1], 1 );
    /// 轉換到 HSV 空間
    cvtColor( src, hsv, CV_BGR2HSV );
  
    /// 分離 Hue 通道
    hue.create( hsv.size(), hsv.depth() );
    int ch[] = { 0, 0 };
    mixChannels( &hsv, 1, &hue, 1, ch, 1 );
  
    /// 創建 Trackbar 來輸入bin的數目
    char* window_image = "Source image";
    namedWindow( window_image, CV_WINDOW_AUTOSIZE );
    createTrackbar("* Hue  bins: ", window_image, &bins, 180, Hist_and_Backproj );
    Hist_and_Backproj(0, 0);
  
    /// 現實圖像
    imshow( window_image, src );
  
    /// 等待用戶反應
    waitKey(0);
    return 0;
  }
  
  
  /**
   * @函數 Hist_and_Backproj
   * @簡介：Trackbar事件的回調函數
   */
  void Hist_and_Backproj(int, void* )
  {
    MatND hist;
    int histSize = MAX( bins, 2 );
    float hue_range[] = { 0, 180 };
    const float* ranges = { hue_range };
  
    /// 計算直方圖並歸一化
    calcHist( &hue, 1, 0, Mat(), hist, 1, &histSize, &ranges, true, false );
    normalize( hist, hist, 0, 255, NORM_MINMAX, -1, Mat() );
  
    /// 計算反向投影
    MatND backproj;
    calcBackProject( &hue, 1, 0, hist, backproj, &ranges, 1, true );
  
    /// 顯示反向投影
    imshow( "BackProj", backproj );
  
    /// 顯示直方圖
    int w = 400; int h = 400;
    int bin_w = cvRound( (double) w / histSize );
    Mat histImg = Mat::zeros( w, h, CV_8UC3 );
  
    for( int i = 0; i < bins; i ++ )
       { rectangle( histImg, Point( i*bin_w, h ), Point( (i+1)*bin_w, h - cvRound( hist.at(i)*h/255.0 ) ), Scalar( 0, 0, 255 ), -1 ); }
  
    imshow( "Histogram", histImg );
  }

4.運行結果