Task04 圖像濾波

4.1 簡介

圖像的實質是一種二維信號，濾波是信號處理中的一個重要概念。在圖像處理中，濾波是一種非常常見的技術，它們的原理非常簡單，但是其思想卻十分值得借鑑，濾波是很多圖像算法的前置步驟或基礎，掌握圖像濾波對理解卷積神經網絡也有一定幫助。

線性濾波：均值濾波，方框濾波，高斯濾波
非線性濾波：中值濾波、雙邊濾波圖像

4.4 算法理論介紹

4.4.1 均值濾波、方框濾波

1. 濾波分類

線性濾波： 對鄰域中的像素的計算爲線性運算時，如利用窗口函數進行平滑加權求和的運算，或者某種卷積運算，都可以稱爲線性濾波。常見的線性濾波有：均值濾波、高斯濾波、盒子濾波、拉普拉斯濾波等等，通常線性濾波器之間只是模版係數不同。

非線性濾波： 非線性濾波利用原始圖像跟模版之間的一種邏輯關係得到結果，如最值濾波器，中值濾波器。比較常用的有中值濾波器和雙邊濾波器。

2. 方框（盒子）濾波

方框濾波是一種非常有用的線性濾波，也叫盒子濾波，均值濾波就是盒子濾波歸一化的特殊情況。
應用： 可以說，一切需要求某個鄰域內像素之和的場合，都有方框濾波的用武之地，比如：均值濾波、引導濾波、計算Haar特徵等等。

優勢： 就一個字：快！它可以使複雜度爲O(MN)的求和，求方差等運算降低到O(1)或近似於O(1)的複雜度，也就是說與鄰域尺寸無關了，有點類似積分圖吧，但是比積分圖更快（與它的實現方式有關）。

在原理上，是採用一個卷積核與圖像進行卷積：

其中：

可見，歸一化了就是均值濾波；不歸一化則可以計算每個像素鄰域上的各種積分特性，方差、協方差，平方和等等。

3. 均值濾波

均值濾波的應用場合：
根據岡薩雷斯書中的描述，均值模糊可以模糊圖像以便得到感興趣物體的粗略描述，也就是說，去除圖像中的不相關細節，其中“不相關”是指與濾波器模板尺寸相比較小的像素區域，從而對圖像有一個整體的認知。即爲了對感興趣的物體得到一個大致的整體的描述而模糊一幅圖像，忽略細小的細節。

均值濾波的缺陷：
均值濾波本身存在着固有的缺陷，即它不能很好地保護圖像細節，在圖像去噪的同時也破壞了圖像的細節部分，從而使圖像變得模糊，不能很好地去除噪聲點。特別是椒鹽噪聲。

均值濾波是上述方框濾波的特殊情況，均值濾波方法是：對待處理的當前像素，選擇一個模板，該模板爲其鄰近的若干個像素組成，用模板的均值（方框濾波歸一化）來替代原像素的值。公式表示爲：

g(x,y)爲該鄰域的中心像素，n跟係數模版大小有關，一般3*3鄰域的模板，n取爲9，如：

當然，模板是可變的，一般取奇數，如5 * 5 , 7 * 7等等。

注：在實際處理過程中可對圖像邊界進行擴充，擴充爲0或擴充爲鄰近的像素值。

4.4.1 高斯濾波

應用： 高斯濾波是一種線性平滑濾波器，對於服從正態分佈的噪聲有很好的抑制作用。在實際場景中，我們通常會假定圖像包含的噪聲爲高斯白噪聲，所以在許多實際應用的預處理部分，都會採用高斯濾波抑制噪聲，如傳統車牌識別等。

高斯濾波和均值濾波一樣，都是利用一個掩膜和圖像進行卷積求解。不同之處在於：均值濾波器的模板係數都是相同的爲1，而高斯濾波器的模板係數，則隨着距離模板中心的增大而係數減小（服從二維高斯分佈）。所以，高斯濾波器相比於均值濾波器對圖像個模糊程度較小，更能夠保持圖像的整體細節。

二維高斯分佈
高斯分佈公式終於要出場了！

其中不必糾結於係數，因爲它只是一個常數！並不會影響互相之間的比例關係，並且最終都要進行歸一化，所以在實際計算時我們是忽略它而只計算後半部分:

其中(x,y)爲掩膜內任一點的座標，(ux,uy)爲掩膜內中心點的座標，在圖像處理中可認爲是整數；σ是標準差。

例如：要產生一個3×3的高斯濾波器模板，以模板的中心位置爲座標原點進行取樣。模板在各個位置的座標，如下所示（x軸水平向右，y軸豎直向下）。

這樣，將各個位置的座標帶入到高斯函數中，得到的值就是模板的係數。
對於窗口模板的大小爲 (2k+1)×(2k+1)，模板中各個元素值的計算公式如下：

這樣計算出來的模板有兩種形式：小數和整數。

小數形式的模板，就是直接計算得到的值，沒有經過任何的處理；
整數形式的，則需要進行歸一化處理，將模板左上角的值歸一化爲1，具體介紹請看這篇博文。使用整數的模板時，需要在模板的前面加一個係數，係數爲模板係數和的倒數。

生成高斯掩膜（小數形式）
知道了高斯分佈原理，實現起來也就不困難了。

首先我們要確定我們生產掩模的尺寸wsize，然後設定高斯分佈的標準差。生成的過程，我們首先根據模板的大小，找到模板的中心位置center。然後就是遍歷，根據高斯分佈的函數，計算模板中每個係數的值。

最後模板的每個係數要除以所有係數的和。這樣就得到了小數形式的模板。

///////////////////////////////
//x，y方向聯合實現獲取高斯模板
//////////////////////////////
void generateGaussMask(cv::Mat& Mask,cv::Size wsize, double sigma){
	Mask.create(wsize,CV_64F);
	int h = wsize.height;
	int w = wsize.width;
	int center_h = (h - 1) / 2;
	int center_w = (w - 1) / 2;
	double sum = 0.0;
	double x, y;
	for (int i = 0; i < h; ++i){
		y = pow(i - center_h, 2);
		for (int j = 0; j < w; ++j){
			x = pow(j - center_w, 2);
			//因爲最後都要歸一化的，常數部分可以不計算，也減少了運算量
			double g = exp(-(x + y) / (2 * sigma*sigma));
			Mask.at<double>(i, j) = g;
			sum += g;
		}
	}
	Mask = Mask / sum;
}

3×3,σ=0.8的小數型模板：

σ的意義及選取
通過上述的實現過程，不難發現，高斯濾波器模板的生成最重要的參數就是高斯分佈的標準差σ。標準差代表着數據的離散程度，如果σ較小，那麼生成的模板的中心繫數較大，而周圍的係數較小，這樣對圖像的平滑效果就不是很明顯；反之，σ較大，則生成的模板的各個係數相差就不是很大，比較類似均值模板，對圖像的平滑效果比較明顯。

來看下一維高斯分佈的概率分佈密度圖：

於是我們有如下結論：σ越小分佈越瘦高，σ越大分佈越矮胖。

σ越大，分佈越分散，各部分比重差別不大，於是生成的模板各元素值差別不大，類似於平均模板；
σ越小，分佈越集中，中間部分所佔比重遠遠高於其他部分，反映到高斯模板上就是中心元素值遠遠大於其他元素值，於是自然而然就相當於中間值得點運算。

4.5 基於OpenCV的實現

工具：OpenCV3.1.0+VS2013
平臺：WIN10

函數原型（c++）

1.方框濾波

void boxFilter( InputArray src, OutputArray dst, 
                int ddepth,
                Size ksize,  
                Point anchor = Point(-1,-1),
                bool normalize = true,
                int borderType = BORDER_DEFAULT );

參數：

src – input image.
dst – output image of the same size and type as src.
ddepth – the output image depth (-1 to use src.depth()).
ksize – blurring kernel size. anchor
anchor point; default value Point(-1,-1) means that the anchor is at the kernel center.
normalize – flag, specifying whether the kernel is normalized by its area or not.
borderType – border mode used to extrapolate pixels outside of the image. 可參考：cv::BorderTypes

2.均值濾波

void cv::blur	(	InputArray 	src,
                    OutputArray dst,
                       Size 	ksize,
                      Point 	anchor = Point(-1,-1),
                       int 	  borderType = BORDER_DEFAULT 
)

參數：

src – input image; it can have any number of channels, which are processed independently, but the
depth – should be CV_8U, CV_16U, CV_16S, CV_32F or CV_64F.
dst – output image of the same size and type as src.
ksize – blurring kernel size.
anchor – anchor point; default value Point(-1,-1) means that the anchor is at the kernel center.
borderType – border mode used to extrapolate pixels outside of the image,可參考：cv::BorderTypes

2.高斯濾波

void GaussianBlur(InputArray src, OutputArray dst, 
                  Size ksize, 
                  double sigmaX, double sigmaY=0,
                  int borderType=BORDER_DEFAULT )

參數：

src — input image; the image can have any number of channels, which are processed independently, but the depth should be CV_8U, CV_16U, CV_16S, CV_32F or CV_64F.
dst — output image of the same size and type as src.
ksize Gaussian kernel size. ksize.width and ksize.height can differ but they both must be positive and odd. Or, they can be zero’s and then they are computed from sigma.
sigmaX — Gaussian kernel standard deviation in X direction.
sigmaY — Gaussian kernel standard deviation in Y direction; if sigmaY is zero, it is set to be equal to sigmaX, if both sigmas are zeros, they are computed from ksize.width and ksize.height, respectively (see cv::getGaussianKernel for details); to fully control the result regardless of possible future modifications of all this semantics, it is recommended to specify all of ksize, sigmaX, and sigmaY.
borderType — pixel extrapolation method, 可參考：cv::BorderTypes

實現示例（c++)

#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
 
using namespace cv;
 
int main()
{
	//載入圖像
	Mat image = imread("1.jpg");
	Mat dst1 , dst2，dst3;
	 //均值濾波
	blur(image, dst1, Size(7, 7));
	//方框濾波
	cv::boxFilter(image, dst2, -1, cv::Size(7, 7), cv::Point(-1, -1), true, cv::BORDER_CONSTANT);
	//高斯濾波
	cv:: GaussianBlur(image, dst3,cv::Size(7, 7),0.8);
	
    //創建窗口並顯示
	namedWindow("均值濾波效果圖");
    namedWindow("方框濾波效果圖");
    namedWindow("高斯濾波效果圖");
	imshow("均值濾波效果圖", dst1);
    imshow("方框濾波效果圖", dts2);
    imshow("高斯濾波效果圖", dts3);
	waitKey(0);
	return 0;
}

進階實現(根據原理自己實現)

1.方框濾波

#include <iostream>
#include <opencv2/core.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/imgproc.hpp>
 
/////////////////////////////////////////
//求積分圖-優化方法
//由上方negral(i-1,j)加上當前行的和即可
//對於W*H圖像：2*(W-1)*(H-1)次加減法
//比常規方法快1.5倍左右
/////////////////////////////////////////
void Fast_integral(cv::Mat& src, cv::Mat& dst){
	int nr = src.rows;
	int nc = src.cols;
	int sum_r = 0;
	dst = cv::Mat::zeros(nr + 1, nc + 1, CV_64F);
	for (int i = 1; i < dst.rows; ++i){
		for (int j = 1, sum_r = 0; j < dst.cols; ++j){
			//行累加，因爲積分圖相當於在原圖上方加一行，左邊加一列，所以積分圖的(1,1)對應原圖(0,0),(i,j)對應(i-1,j-1)
			sum_r = src.at<uchar>(i - 1, j - 1) + sum_r; //行累加
			dst.at<double>(i, j) = dst.at<double>(i - 1, j) + sum_r;
		}
	}
}
 
//////////////////////////////////
//盒子濾波-均值濾波是其特殊情況
/////////////////////////////////
void BoxFilter(cv::Mat& src, cv::Mat& dst, cv::Size wsize, bool normalize){
 
	//圖像邊界擴充
	if (wsize.height % 2 == 0 || wsize.width % 2 == 0){
		fprintf(stderr, "Please enter odd size!");
		exit(-1);
	}
	int hh = (wsize.height - 1) / 2;
	int hw = (wsize.width - 1) / 2;
	cv::Mat Newsrc;
	cv::copyMakeBorder(src, Newsrc, hh, hh, hw, hw, cv::BORDER_REFLECT);//以邊緣爲軸，對稱
	src.copyTo(dst);
 
	//計算積分圖
	cv::Mat inte;
	Fast_integral(Newsrc, inte);
 
	//BoxFilter
	double mean = 0;
	for (int i = hh + 1; i < src.rows + hh + 1; ++i){  //積分圖圖像比原圖（邊界擴充後的）多一行和一列 
		for (int j = hw + 1; j < src.cols + hw + 1; ++j){
			double top_left = inte.at<double>(i - hh - 1, j - hw - 1);
			double top_right = inte.at<double>(i - hh - 1, j + hw);
			double buttom_left = inte.at<double>(i + hh, j - hw - 1);
			double buttom_right = inte.at<double>(i + hh, j + hw);
			if (normalize == true)
				mean = (buttom_right - top_right - buttom_left + top_left) / wsize.area();
			else
				mean = buttom_right - top_right - buttom_left + top_left;
			
			//一定要進行判斷和數據類型轉換
			if (mean < 0)
				mean = 0;
			else if (mean>255)
				mean = 255;
			dst.at<uchar>(i - hh - 1, j - hw - 1) = static_cast<uchar>(mean);
 
		}
	}
}
 
int main(){
	cv::Mat src = cv::imread("I:\\Learning-and-Practice\\2019Change\\Image process algorithm\\Img\\woman2.jpeg");
	if (src.empty()){
		return -1;
	}
 
	//自編BoxFilter測試
	cv::Mat dst1;
	double t2 = (double)cv::getTickCount(); //測時間
	if (src.channels() > 1){
		std::vector<cv::Mat> channel;
		cv::split(src, channel);
		BoxFilter(channel[0], channel[0], cv::Size(7, 7), true);//盒子濾波
		BoxFilter(channel[1], channel[1], cv::Size(7, 7), true);//盒子濾波
		BoxFilter(channel[2], channel[2], cv::Size(7, 7), true);//盒子濾波
		cv::merge(channel,dst1);
	}else
		BoxFilter(src, dst1, cv::Size(7, 7), true);//盒子濾波
	t2 = (double)cv::getTickCount() - t2;
	double time2 = (t2 *1000.) / ((double)cv::getTickFrequency());
	std::cout << "FASTmy_process=" << time2 << " ms. " << std::endl << std::endl;
 
	//opencv自帶BoxFilter測試
	cv::Mat dst2;
	double t1 = (double)cv::getTickCount(); //測時間
	cv::boxFilter(src, dst2, -1, cv::Size(7, 7), cv::Point(-1, -1), true, cv::BORDER_CONSTANT);//盒子濾波
	t1 = (double)cv::getTickCount() - t1;
	double time1 = (t1 *1000.) / ((double)cv::getTickFrequency());
	std::cout << "Opencvbox_process=" << time1 << " ms. " << std::endl << std::endl;
 
	cv::namedWindow("src");
	cv::imshow("src", src);
	cv::namedWindow("ourdst",CV_WINDOW_NORMAL);
	cv::imshow("ourdst", dst1);
	cv::namedWindow("opencvdst", CV_WINDOW_NORMAL);
	cv::imshow("opencvdst", dst2);
	cv::waitKey(0);
 
}

1. 均值濾波

#include <opencv.hpp>
#include <opencv2/core.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/imgproc.hpp>
 
void MeanFilater(cv::Mat& src,cv::Mat& dst,cv::Size wsize){
	//圖像邊界擴充:窗口的半徑
	if (wsize.height % 2 == 0 || wsize.width % 2 == 0){
		fprintf(stderr,"Please enter odd size!" );
		exit(-1);
	}
	int hh = (wsize.height - 1) / 2;
	int hw = (wsize.width - 1) / 2;
	cv::Mat Newsrc;
	cv::copyMakeBorder(src, Newsrc, hh, hh, hw, hw, cv::BORDER_REFLECT_101);//以邊緣爲軸，對稱
	dst=cv::Mat::zeros(src.size(),src.type());
 
    //均值濾波
	int sum = 0;
	int mean = 0;
	for (int i = hh; i < src.rows + hh; ++i){
		for (int j = hw; j < src.cols + hw;++j){
 
			for (int r = i - hh; r <= i + hh; ++r){
				for (int c = j - hw; c <= j + hw;++c){
					sum = Newsrc.at<uchar>(r, c) + sum;
				}
			}
			mean = sum / (wsize.area());
			dst.at<uchar>(i-hh,j-hw)=mean;
			sum = 0;
			mean = 0;
		}
	}
 
}
 
int main(){
	cv::Mat src = cv::imread("I:\\Learning-and-Practice\\2019Change\\Image process algorithm\\Img\\Fig0334(a)(hubble-original).tif");
	if (src.empty()){
		return -1;
	}
	if (src.channels() > 1)
		cv::cvtColor(src,src,CV_RGB2GRAY);
 
	cv::Mat dst;
	cv::Mat dst1;
	cv::Size wsize(7,7);
 
	double t2 = (double)cv::getTickCount();
	MeanFilater(src, dst, wsize); //均值濾波
	t2 = (double)cv::getTickCount() - t2;
	double time2 = (t2 *1000.) / ((double)cv::getTickFrequency());
	std::cout << "FASTmy_process=" << time2 << " ms. " << std::endl << std::endl;
 
	cv::namedWindow("src");
	cv::imshow("src", src);
	cv::namedWindow("dst");
	cv::imshow("dst", dst);
	cv::imwrite("I:\\Learning-and-Practice\\2019Change\\Image process algorithm\\Image Filtering\\MeanFilter\\Mean_hubble.jpg",dst);
	cv::waitKey(0);
}

3.高斯濾波

////////////////////////////
//按二維高斯函數實現高斯濾波
///////////////////////////
void GaussianFilter(cv::Mat& src, cv::Mat& dst, cv::Mat window){
	int hh = (window.rows - 1) / 2;
	int hw = (window.cols - 1) / 2;
	dst = cv::Mat::zeros(src.size(),src.type());
	//邊界填充
	cv::Mat Newsrc;
	cv::copyMakeBorder(src, Newsrc, hh, hh, hw, hw, cv::BORDER_REPLICATE);//邊界複製
	
	//高斯濾波
	for (int i = hh; i < src.rows + hh;++i){
		for (int j = hw; j < src.cols + hw; ++j){
			double sum[3] = { 0 };
 
			for (int r = -hh; r <= hh; ++r){
				for (int c = -hw; c <= hw; ++c){
					if (src.channels() == 1){
						sum[0] = sum[0] + Newsrc.at<uchar>(i + r, j + c) * window.at<double>(r + hh, c + hw);
					}
					else if (src.channels() == 3){
						cv::Vec3b rgb = Newsrc.at<cv::Vec3b>(i+r,j + c);
						sum[0] = sum[0] + rgb[0] * window.at<double>(r + hh, c + hw);//B
						sum[1] = sum[1] + rgb[1] * window.at<double>(r + hh, c + hw);//G
						sum[2] = sum[2] + rgb[2] * window.at<double>(r + hh, c + hw);//R
					}
				}
			}
 
			for (int k = 0; k < src.channels(); ++k){
				if (sum[k] < 0)
					sum[k] = 0;
				else if (sum[k]>255)
					sum[k] = 255;
			}
			if (src.channels() == 1)
			{
				dst.at<uchar>(i - hh, j - hw) = static_cast<uchar>(sum[0]);
			}
			else if (src.channels() == 3)
			{
				cv::Vec3b rgb = { static_cast<uchar>(sum[0]), static_cast<uchar>(sum[1]), static_cast<uchar>(sum[2]) };
				dst.at<cv::Vec3b>(i-hh, j-hw) = rgb;
			}
 
		}
	}
 
}

Task04 圖像濾波

4.1 簡介

4.4 算法理論介紹

4.4.1 均值濾波、方框濾波

4.4.1 高斯濾波

4.5 基於OpenCV的實現

函數原型（c++）

實現示例（c++)

進階實現(根據原理自己實現)

效果

相關技術文檔、博客、教材、項目推薦

.Net 8.0 下的新RPC，IceRPC之試試的新玩法"打洞"

完美替代postman的軟件

Vue mockjs mock.js

關於遊戲付費的一點想法

我通過CKA和CKS啦！

《最新出爐》系列入門篇-Python+Playwright自動化測試-42-強大的可視化追蹤利器Trace Viewer

大數據怎麼學？對大數據開發領域及崗位的詳細解讀，完整理解大數據開發領域技術體系

Datawhale 零基礎入門CV - Task 03 字符識別模型

Datawhale 零基礎入門CV - Task 05 模型集成

Datawhale 零基礎入門CV - Task 04 模型訓練與驗證

crypto安裝

Datawhale 零基礎入門CV - Task 02 數據讀取與數據擴增

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結