Python OpenCV 365 天學習計劃，與橡皮擦一起進入圖像領域吧。
基礎知識鋪墊
學習圖像金字塔，發現網上的資料比較多，檢索起來比較輕鬆。
圖像金字塔是一張圖像多尺度的表達，或者可以理解成一張圖像不同分辨率展示。
金字塔越底層的圖片，像素越高，越向上，像素逐步降低，分辨率逐步降低。
高斯金字塔
我們依舊不對概念做過多解釋，第一遍學習應用，應用，畢竟 365 天的週期，時間長，後面補充理論知識。
高斯金字塔用於向下採樣，同時它也是最基本的圖像塔。
在互聯網檢索原理，得到最簡單的說明如下：
將圖像的最底層（高斯金字塔的第 0 層），例如高斯核（5x5）對其進行卷積操作，這裏的卷積主要處理掉的是偶數行與列，然後得到金字塔上一層圖像（即高斯金字塔第 1 層），在針對該圖像重複卷積操作，得到第 2 層，反覆執行下去，即可得到高斯金字塔。
每次操作之後，都會將 M×N 圖像變成 M/2 × N/2 圖像，即減少一半。
還有實測中發現，需要用圖像的寬和高一致的圖片，並且寬高要是 2 的次冪數，例如，8 像素，16 像素，32 像素等等，一會你也可以實際測試一下。
圖像金字塔應用到的函數有 cv2.pyrDown() 和 cv2.pyrUp() 。
cv2.pyrDown 與 cv2.pyrUp 函數原型
通過 help 函數得到函數原型如下：
pyrDown(src[, dst[, dstsize[, borderType]]]) -> dst
pyrUp(src[, dst[, dstsize[, borderType]]]) -> dst
兩個函數原型參數一致，參數說明如下：
- src：輸入圖像；
- dst： 輸出圖像；
- dstsize： 輸出圖像尺寸，默認值按照
((src.cols+1)/2, (src.rows+1)/2)計算。
關於兩個函數的補充說明：
- cv2.pyrDown 從一個相對高分辨率的大尺寸的圖像上構建一個金字塔，運行之後的結果是，圖像變小，分辨率降低（下采樣）；
- cv2.pyrUp 是一個上採樣的過程，儘管相對尺寸變大，但是分辨率不會增加，圖像會變得更模糊。
測試代碼如下：
import cv2 as cv
src = cv.imread("./testimg.jpeg")
print(src.shape[:2])
cv.imshow("src", src)
# 向下採樣
dst = cv.pyrDown(src)
print(dst.shape[:2])
cv.imshow("dst", dst)
# 再次向下採樣
dst1 = cv.pyrDown(dst)
print(dst1.shape[:2])
cv.imshow("dst1", dst1)
cv.waitKey()
運行代碼之後，得到三張圖片，大小依次減小，分辨率降低。
通過上面運行得到的最小圖，在執行向上採樣之後，圖片會變的模糊，這也說明上採樣和下采樣是非線性處理，它們是不可逆的有損處理，因此下采樣後的圖像是無法還原的，即使放大圖片也會變模糊（後面學習到拉普拉斯金字塔可以解決該問題）。
# 向上採樣
dst2 = cv.pyrUp(dst1)
print(dst2.shape[:2])
cv.imshow("dst2", dst2)
在總結一下上採樣和下采樣的步驟：
- 上採樣：使用 cv2.pyrUp 函數， 先將圖像在每個方向放大爲原來的兩倍，新增的行和列用 0 填充，再使用先前同樣的內核與放大後的圖像卷積，獲得新增像素的近似值;
- 下采樣：使用 cv2.pyrDown 函數，先對圖像進行高斯內核卷積 ，再將所有偶數行和列去除。
拉普拉斯金字塔（Laplacian Pyramid， LP）
拉普拉斯金字塔主要用於重建圖像，由上文我們已經知道在使用高斯金字塔的的時候，上採樣和下采樣會導致圖像細節丟失。
拉普拉斯就是爲了在放大圖像的時候，可以預測殘差，何爲殘差，即小圖像放大的時候，需要插入一些像素值，在上文直接插入的是 0，拉普拉斯金字塔算法可以根據周圍像素進行預測，從而實現對圖像最大程度的還原。
學習到原理如下：用高斯金字塔的每一層圖像，減去其上一層圖像上採樣並高斯卷積之後的預測圖像，得到一系列的差值圖像即爲 LP 分解圖像（其中 LP 即爲拉普拉斯金字塔圖像）。
關於拉普拉斯還存在一個公式（這是本系列課程第一次書寫公式），其中 L 爲拉普拉斯金字塔圖像，G 爲高斯金字塔圖像
L n = G n − P y r U p ( P y r D o w n ( G n ) ) L_n = G_n-PyrUp(PyrDown(G_n)) Ln=Gn−PyrUp(PyrDown(Gn))
使用下面的代碼進行測試。
import cv2 as cv
src = cv.imread("./testimg.jpeg")
print(src.shape[:2])
cv.imshow("src", src)
# 向下採樣一次
dst = cv.pyrDown(src)
print(dst.shape[:2])
cv.imshow("dst", dst)
# 向上採樣一次
dst1 = cv.pyrUp(dst)
print(dst1.shape[:2])
cv.imshow("dst1", dst1)
# 計算拉普拉斯金字塔圖像
# 原圖 - 向上採樣一次的圖
laplace = cv.subtract(src, dst1)
cv.imshow("laplace", laplace)
cv.waitKey()
運行結果如下，相關的圖像已經呈現出來，重點注意最右側的圖片。
這個地方需要注意下，如果你使用 cv.subtract(src, dst1) 函數，得到的是上圖效果，但是在使用還原的時候會發現問題，建議直接使用 -完成，匹配公式，修改代碼如下：
# cv.subtract(src, dst1)
laplace = src - dst1
代碼運行效果如下。
學習過程中發現這樣一段話：圖像尺寸最好是 2 的整次冪，如 256,512 等，否則在金字塔向上的過程中圖像的尺寸會不等，這會導致在拉普拉斯金字塔處理時由於不同尺寸矩陣相減而出錯。
這個我在實測的時候發現確實如此，例如案例中使用的圖像，在向下採樣 2 次的時候，圖像的尺寸就會發生變化，測試代碼如下：
import cv2 as cv
src = cv.imread("./testimg.jpeg")
print(src.shape[:2])
cv.imshow("src", src)
# 向下採樣1次
dst1 = cv.pyrDown(src)
print(dst1.shape[:2])
cv.imshow("dst", dst1)
# 向下採樣2次
dst2 = cv.pyrDown(dst1)
print(dst1.shape[:2])
cv.imshow("dst2", dst2)
# 向上採樣1次
up_dst1 = cv.pyrUp(dst2)
print(up_dst1.shape[:2])
cv.imshow("up_dst1", up_dst1)
# 計算拉普拉斯金字塔圖像
# 採樣1次 - 向上採樣1次的圖
laplace = dst1 - up_dst1
cv.imshow("laplace", laplace)
cv.waitKey()
注意 print(up_dst1.shape[:2]) 部分的輸出如下：
(710, 400)
(355, 200)
(355, 200)
(356, 200)
如果在該基礎上使用拉普拉斯圖像金字塔，就會出現如下錯誤
Sizes of input arguments do not match
在總結一下拉普拉斯圖像金字塔的執行過程：
- 向下採樣：用高斯金字塔的第 i 層減去 i+1 層做上採樣的圖像，得到拉普拉斯第 i 層的圖像；
- 向上採樣：用高斯金字塔的 i+1 層向上採樣加上拉普拉斯的第 i 層，得到第 i 層的原始圖像。
向下採樣上面的代碼已經實現了，但是拉普拉斯向上採樣還未實現，完善一下代碼如下，爲了代碼清晰，我們將變量命名進行修改。
import cv2 as cv
src = cv.imread("./testimg_rect.jpeg")
print(src.shape[:2])
cv.imshow("src", src)
# 高斯金字塔第 0 層
gus0 = src # 原圖
# 高斯金字塔第 1 層
gus1 = cv.pyrDown(gus0)
# 高斯第 2 層
gus2 = cv.pyrDown(gus1)
# 拉普拉斯金字塔第 0 層
lap0 = gus0 - cv.pyrUp(gus1)
# 拉普拉斯金字塔第 1 層
lap1 = gus1 - cv.pyrUp(gus2)
# 顯示拉普拉斯第一層代碼
cv.imshow("laplace", lap1)
cv.waitKey()
下面用修改好的代碼完成還原圖片的操作。
import cv2 as cv
src = cv.imread("./testimg_rect.jpeg")
print(src.shape[:2])
cv.imshow("src", src)
# 高斯金字塔第 0 層
gus0 = src # 原圖
# 高斯金字塔第 1 層
gus1 = cv.pyrDown(gus0)
# 高斯第 2 層
gus2 = cv.pyrDown(gus1)
# 拉普拉斯金字塔第 0 層
lap0 = gus0 - cv.pyrUp(gus1)
# 拉普拉斯金字塔第 1 層
lap1 = gus1 - cv.pyrUp(gus2)
rep = lap0 + cv.pyrUp(lap1 + cv.pyrUp(gus2))
gus_rep = cv.pyrUp(cv.pyrUp(gus2))
cv.imshow("rep", rep)
cv.imshow("gus_rep", gus_rep)
cv.waitKey()
以上代碼最重要的部分爲下面兩句：
rep = lap0 + cv.pyrUp(lap1 + cv.pyrUp(gus2))
gus_rep = cv.pyrUp(cv.pyrUp(gus2))
第一行代碼中 lap1 + cv.pyrUp(gus2) 即文字公式 【用高斯金字塔的 i+1 層向上採樣加上拉普拉斯的第 i 層，得到第 i 層的原始圖像】的翻譯。
第二行代碼是使用直接向上採樣，最終得到的是損失細節的圖像。
上述代碼運行的結果如下，通過拉普拉斯可以完美還原圖像。
學習本案例之後，你可以在覆盤本文開始部分的代碼，將其進行修改。
最後在學習一種技巧，可以直接將兩幅圖片呈現，代碼如下：
import cv2 as cv
import numpy as np
src = cv.imread("./testimg_rect.jpeg")
print(src.shape[:2])
cv.imshow("src", src)
# 向下採樣1次
down_dst1 = cv.pyrDown(src)
print(down_dst1.shape[:2])
cv.imshow("dst", down_dst1)
# 向上採樣1次
up_dst1 = cv.pyrUp(down_dst1)
print(up_dst1.shape[:2])
cv.imshow("up_dst1", up_dst1)
res = np.hstack((up_dst1, src))
cv.imshow('res', res)
cv.waitKey()
運行之後，通過 np.hstack((up_dst1, src))函數，將兩個圖像矩陣合併，實現效果如下：
橡皮擦的小節
希望今天的 1 個小時，你有所收穫，我們下篇博客見~
相關閱讀
技術專欄
逗趣程序員
今天是持續寫作的第 71 / 100 天。
如果你有想要交流的想法、技術，歡迎在評論區留言。
如果你想跟博主建立親密關係，可以關注博主，或者關注博主公衆號 “
非本科程序員”，瞭解一個非本科程序員是如何成長的。
博主 ID：夢想橡皮擦，希望大家點贊、評論、收藏