《HALCON機器視覺與算法原理編程實踐》第5章 圖像預處理-學習筆記

5.1 圖像變換與校正

5.1.1 二維圖像的平移、旋轉和縮放

1. 圖像的平移
   
   
2. 圖像的旋轉
   
   
3. 圖像的縮放
   
   
   平移、縮放和旋轉都需要有一個參考點，圍繞該點進行仿射變換操作

5.1.2 圖像的仿射變換

把平移、旋轉和縮放結合起來，可以在Halcon中使用仿射變換的相關算子。

1. 仿射變換矩陣

* 創建一個空的仿射變換矩陣
hom_mat2d_identity (HomMat2DIdentity)

* 設置平移矩陣
hom_mat2d_translate (HomMat2DIdentity, 64, 64, HomMat2DTranslate)

* 設置旋轉矩陣
hom_mat2d_rotate (HomMat2DTranslate, 0.78, 0, 0, HomMat2DRotate)

* 設置縮放矩陣
hom_mat2d_scale (HomMat2DRotate, 2, 2, 0, 0, HomMat2DScale)

2. 應用仿射變換矩陣
   仿射變換矩陣可以應用於像素點、二維點、圖像、區域及XLD輪廓等對象

* 應用於像素點
affine_trans_pixel (HomMat2DScale, 64, 64, RowTrans, ColTrans)

* 應用於二維點
affine_trans_point_2d (HomMat2DScale, RowTrans, ColTrans, Qx, Qy)

* 應用於圖像
affine_trans_image (Image, ImageAffineTrans, HomMat2DScale, 'constant', 'false')

* 應用於區域
affine_trans_region (Region, RegionAffineTrans, HomMat2DScale, 'nearest_neighbor')

* 應用於XLD輪廓
affine_trans_contour_xld (, ContoursAffineTrans, HomMat2DScale)

5.1.3 投影變換

投影變換可以使畸變的圖像恢復原狀，例：

5.1.4 實例：透視性變圖像校正

*關閉當前顯示窗口，清空屏幕
dev_close_window ()
*讀取測試圖像
read_image (Image_display, 'data/display.jpg')
*將圖像轉化爲灰度圖像
rgb1_to_gray (Image_display, GrayImage)
*獲取圖像的尺寸
get_image_size(Image_display,imageWidth, imageHeight)
*新建顯示窗口，適應圖像尺寸
dev_open_window (0, 0, imageWidth, imageHeight, 'black', WindowHandle1)
dev_display (GrayImage)
*初始化角點座標
XCoordCorners := []
YCoordCorners := []
*閾值處理，提取較暗的區域
threshold(GrayImage,DarkRegion,0, 80)
*分離不相連的區域
connection (DarkRegion, ConnectedRegions)
*選擇面積最大的暗色區域，即屏幕區域
select_shape_std (ConnectedRegions, displayRegion, 'max_area', 70)
*裁剪屏幕區域
reduce_domain (GrayImage, displayRegion, displayImage)
*創建邊緣輪廓
gen_contour_region_xld (displayRegion, Contours, 'border')
*將輪廓分割爲邊
segment_contours_xld (Contours, ContoursSplit, 'lines', 5, 4, 2)
*獲取邊的數量
count_obj (ContoursSplit, Number)
*存儲每條邊的起點位置
for index:=1 to Number by 1
   select_obj(ContoursSplit, ObjectCurrent, index)
   *擬合每條邊
   fit_line_contour_xld (ObjectCurrent, 'tukey', -1, 0, 5, 2, RowBegin, ColBegin, RowEnd, ColEnd, Nr, Nc, Dist)
   *存儲每條邊的頂點x座標
   tuple_concat (XCoordCorners, RowBegin, XCoordCorners)
   *存儲每條邊的頂點y座標
   tuple_concat (YCoordCorners, ColBegin, YCoordCorners)
endfor

* 投影變換給四個特徵點與校正後的座標建立關聯
XOff:= 100
YOff:= 100*imageHeight/imageWidth
hom_vector_to_proj_hom_mat2d (XCoordCorners, YCoordCorners, [1,1,1,1], [YOff,YOff,imageHeight-YOff,imageHeight-YOff], [XOff,imageWidth-XOff,imageWidth-XOff,XOff], [1,1,1,1], 'normalized_dlt', HomMat2D)
*投影變換
projective_trans_image (Image_display, Image_rectified, HomMat2D, 'bilinear', 'false', 'false')
* 顯示校正結果
dev_display (Image_rectified)

5.2 感興趣區域（ROI)

ROI是Halcon中的一個很重要的概念，爲了減少計算量，只關注待檢測物體周圍的一片區域即可，ROI就是圖像處理所關注的區域。

5.2.1 ROI的意義

（1）減少計算量，提高效率
（2）ROI可作爲形狀模板

5.2.2 創建ROI

*關閉當前顯示窗口，清空屏幕
dev_close_window ()
*讀取測試圖像
read_image (Image_display, 'data/display.jpg')
*獲取圖像的尺寸
get_image_size(Image_display,imageWidth, imageHeight)
*新建顯示窗口，適應圖像尺寸
dev_open_window (0, 0, imageWidth, imageHeight, 'black', WindowHandle)
dev_display (Image_display)
gen_rectangle1 (ROI_0, 52, 46, 456, 574)
*裁剪屏幕區域
reduce_domain (Image_display, ROI_0, reducedImage)
dev_open_window (0, 400, imageWidth, imageHeight, 'black', WindowHandle1)
* 顯示校正結果
dev_display (reducedImage)

5.3 圖像增強

圖像增強主要是爲了突出圖像中的細節，爲後續的特徵識別或者檢測做準備。圖像增強可以有多種方式。

5.3.1 直方圖均衡

read_image (board, 'data/boardEqu')
rgb1_to_gray (board, GrayImage)
equ_histo_image (GrayImage, ImageEquHisto)
*顯示直方圖
gray_histo (board, board, AbsoluteHisto1, RelativeHisto1)
gray_histo (ImageEquHisto, ImageEquHisto, AbsoluteHisto2, RelativeHisto2)
dev_open_window (0, 0, 512, 512, 'black', WindowHandle)
dev_set_color ('red')
gen_region_histo (Histo1, AbsoluteHisto1, 255, 5, 1)
dev_set_color ('green')
gen_region_histo (Histo2, AbsoluteHisto2, 255, 450, 1)

5.3.4 增強對比度

(1) emphasize

read_image (boardtext, 'data/text.jpg')
emphasize (boardtext, ImageEmphasize, 10, 10, 1.5)
dev_display(ImageEmphasize)

(2)scale_image_max

read_image (text, 'data/text.jpg')
scale_image_max (text, ImageScaleMax)
dev_display(ImageScaleMax)

5.3.4 處理失焦圖像

一些對焦不準的圖像可能存在模糊不清的問題，這時需考慮銳化操作。

read_image (test, 'data/defocusComponnet.jpg')
shock_filter (test, SharpenedImage, 0.5, 20, 'canny', 12.5)
dev_display(SharpenedImage)

5.4 圖像平滑與去噪

有時拍攝的圖像中會存在很多雜點和噪聲，對於比較均勻的噪聲，可以考慮用軟件的算法進行消除。可利用圖像平滑的方法去噪，主要方法有均值濾波、中值濾波、高斯濾波等。

5.4.1 均值濾波

均值濾波，是圖像處理中最常用的手段，從頻率域觀點來看均值濾波是一種低通濾波器，高頻信號將會去掉，因此可以幫助消除圖像尖銳噪聲，實現圖像平滑，模糊等功能。理想的均值濾波是用每個像素和它周圍像素計算出來的平均值替換圖像中每個像素。
均值濾波器的缺點是存在着邊緣模糊的問題。

read_image (ImageNoise, 'data/marker.jpg')
mean_image (ImageNoise, ImageMean, 9,9)
dev_display(ImageMean)	

5.4.2 中值濾波

中值濾波也是消除圖像噪聲最常見的手段之一，特別是消除椒鹽噪聲，中值濾波的效果要比均值濾波更好。中值濾波是跟均值濾波唯一不同是，不是用均值來替換中心每個像素，而是將周圍像素和中心像素排序以後，取中值。

read_image (ImageNoise, 'data/marker.jpg')
median_image (ImageNoise, ImageMedian, 'circle', 3, 'continued')
dev_display(ImageMedian)

5.4.3 高斯濾波

高斯濾波是一種線性平滑濾波，適用於消除高斯噪聲，廣泛應用於圖像處理的減噪過程。 [1] 通俗的講，高斯濾波就是對整幅圖像進行加權平均的過程，每一個像素點的值，都由其本身和鄰域內的其他像素值經過加權平均後得到。高斯濾波的具體操作是：用一個模板（或稱卷積、掩模）掃描圖像中的每一個像素，用模板確定的鄰域內像素的加權平均灰度值去替代模板中心像素點的值。

read_image (ImageNoise, 'data/marker.jpg')
gauss_filter(ImageNoise, ImageGauss, 5)
dev_display(ImageGauss)

5.5 光照不均勻

只能用於彩色圖像，黑白圖像是單通道，不適用這種方法

read_image (test, 'data/label')
*通道分離
decompose3(test, image1, image2, image3)
mean_image (image1, Mean1, 9, 9)
emphasize (Mean1, em1, 5, 5, 1.5)
illuminate (em1, ImageI1, 20, 20, 0.55)
equ_histo_image (image2, ImageEquHisto2)
equ_histo_image (image3, ImageEquHisto3)
compose3 (ImageI1, ImageEquHisto2, ImageEquHisto3, MultiChannelImage)
dev_display(MultiChannelImage)