小波變換——公式整理和簡單介紹

寫在前面

• 本文對小波變換進行公式整理，小波變換的公式設計真的是整齊而漂亮
• 本文只涉及基礎的小波變換部分，達到進行圖像處理的程度
• 主要參考岡薩雷斯的《數字圖像處理》第4版英文版，這一版的第7章小波變換內容改動非常大。第7章首先從基於矩陣的變換的角度開始講解，並把離散的餘弦變換、正弦變化、哈特利變換、沃爾什——哈達瑪變換、斜變換（Slant Transform）、哈爾變換、小波變換、等等，都放到了這一類當中。總之讀下來醍醐灌頂，非常舒服

基於矩陣的變換（Matrix-based Transforms）

（如果想直接看小波變換，可以跳過這一節，從小波變換的基本原理開始看）

首先考慮如下形式的離散餘弦變換（DCT），該變換爲：
$t(u) = \sum_{x=0}^{N-1}f(x)s(x,u)$
其中$s(x,u)$是變換核，形式爲
$s(x,u)=\alpha(u)cos(\frac{u\pi}{N}(x+\frac{1}{2}))$
其中
$\alpha(u) = \begin{cases}\sqrt{\frac{1}{N}} & \text{ if } u=0 \\ \sqrt{\frac{2}{N}} & \text{ if } u = 1,2,...,N-1 \end{cases}$
離散餘弦變換有很多種寫法，這些寫法上存在細微的差異，這裏採用這種離散餘弦變換寫成這樣的好處是變換的基向量是正交的。
什麼意思呢？我們等會會解答，先看另一個問題。
把一個週期的一維離散頻率域信號寫成列向量的形式$f \in \mathbb{R}^{N \times 1}$，對應的頻率域序列爲$t \in \mathbb{R}^{N \times 1}$，上式可以寫成
$t=\begin{bmatrix}s_0^Tf \\ s_1^Tf \\ ... \\ s_{N-1}^Tf \end{bmatrix}= \begin{bmatrix}s_0^T \\ s_1^T \\ ... \\ s_{N-1}^T \end{bmatrix}f$
其中$s_i=[s(0,i) \;s(1, i)\;...\;s(N-1, i)]^T$. 進一步令$A=[s_0\;s_1 \;...\;s_{N-1}]^T$，易得
$t=Af$
會發現原信號與變換後的信號中間只是一個基於矩陣的變換，這種變換非常多，（其實最常用的傅里葉變換也可以看作是一種基於矩陣的變換），這種變換對應的逆變換也有可能是基於矩陣的變換（例如傅里葉變換）

正交變換

好了，回到離散餘弦變換，剛纔說的變換基向量正交即各個$s$之間是正交的
$AA^T= \begin{bmatrix}s_0^Ts_0 &\; s_0^Ts_1 \; & \cdots \; &s_0^Ts_{N-1} \\ s_1^Ts_0 &\; s_1^Ts_1 \; &\cdots \; &s_1^Ts_{N-1} \\ \vdots& \; \vdots \; & \ddots\; &\vdots \\ s_{N-1}^Ts_0 &\; s_{N-1}^Ts_1 \; &\cdots \; &s_{N-1}^Ts_{N-1} \end{bmatrix}=I$
也即$A$是一個正交矩陣，所以逆變換就直接爲$f = A^Tt$
這也基於矩陣變換中非常特殊的一類：正交變換。
正交變換的優勢包括：

• 內積不變：即$\left \langle f_1,f_2 \right \rangle=\left \langle t_1,t_2 \right \rangle=\left \langle Af_1, Af_2 \right \rangle$
• 夾角不變
• 距離不變

各種變換核展示

二維情況

如果信號是二維的，例如
$t(u,v)=\sum_{x=0}^{N-1} \sum_{y=0}^{N-1} f(x,y) s(x,y,u,v)$
如果變換核是可分離的：$s(x,y,u,v)=s_1(x,u)s_2(y,v)$，而且是對稱的，即$s_1 \equiv s_2$，且分離後的一維變換核是實正交的，那麼二維變換可以寫成
$t=AfA^T \\ f=A^T tA$
其中$f,t \in \mathbb{R}^{N \times N}$是二維信號的矩陣形式。上式中對$f$的左乘$A$和右乘$A^T$分別對應列變換和行變換（類似二維離散傅里葉變換的行列可分離性）

小波變換的基本原理

• 小波變換的思想是利用尺度函數表示原始信號，隨着尺度級的下降，尺度越來越大，對原始信號的表示也越來越粗糙模糊，和原始信號的差異越來越大，怎麼辦呢？這時引入小波函數來對尺度函數表示部分和原始信號之間的差異進行表示，最終尺度函數+小波函數可以精確的表示原信號。
• 施加在尺度函數和小波函數上的係數就是小波變換的結果。用這些係數，可以復原出原信號。
• 可以理解爲尺度函數大致粗糙地表示了原始信號中，而小波函數則精確的描述了兩者之間的差異
• 具體地，原始信號可以看作是最高（精細）的尺度，隨着尺度級逐漸下降，尺度函數從最精細的表示逐漸變得粗糙，在這過程中，小波函數不斷地表示兩者之間的差異部分，小波函數自身也不斷地變得粗糙
• 這樣做的優勢是能對時間（空間）頻率的局部化分析，通過伸縮平移運算對信號（函數)逐步進行多尺度細化，最終達到高頻處時間細分，低頻處頻率細分——摘自百度百科

尺度函數（Father Scaling Function）

基本概念

尺度函數的作用是大致地表示原始信號，尺度函數$\varphi(x)$由實數、平方可積的函數組成，將尺度函數進行冪爲2的伸縮和整數倍的平移得到函數集合$\{\varphi_{j,k}(x)|j,k \in \mathbb{Z}\}$，其中：
$\varphi_{j,k}(x)=2^{j/2}\varphi(2^j x - k) \tag{1}$
$k$決定了$\varphi_{j,k}$的位置，$j$決定了寬度和高度。
如果限制$j=j_0$，那麼$\{\varphi_{j_0, k}| k\in \mathbb{Z}\}$則張成了一個可以表示的空間的基，我麼記
$V_{j_0}=\{\varphi_{j_0, k}| k\in \mathbb{Z}\} \tag{2}$增大$j_0$會增強$V_{j_0}$的表達能力，因爲$\varphi_{j_0,k}$更窄，可以表示出更精細的部分。
注意$\varphi_{0, 0} = \varphi$.

哈爾尺度函數

一種常見的尺度函數是哈爾尺度函數：
$\varphi(x) = \begin{cases} 1 &\text{ if } 0 \le x <1 \\ 0 & \text{ otherwise } \end{cases} \tag{3}$
從式(3)可以得出$\varphi_{0, k}=\frac{1}{\sqrt 2} \varphi_{1,2k}+ \frac{1}{\sqrt 2} \varphi_{1,2k+1}$，尤其是$\varphi(x)=\varphi(2x)+\varphi(2x-1)$。

下圖是一個例子

尺度函數的要求

可以作爲尺度函數要滿足四條MRA(Multi-Resolution Analysis)要求：

1. 尺度函數對其整數平移是正交的
2. 低尺度長成的函數空間嵌套在高尺度內，即：
   $V_{-\infty} \subset ... \subset V_{-1} \subset V_0 \subset V_1 ... \subset V_{\infty} \tag{4}$
3. 唯一一個任何尺度都能表達的函數是$f(x)=0$
4. 當尺度趨於無窮時，所有可測的，平方可積的一維函數$L^2(\mathbb{R})$都可以表達成尺度函數的線性組合，即$V_{\infty}=L^2(\mathbb{R})$

其他性質

由這四條要求，尺度函數可以表達爲高一級尺度下的線性組合
$\varphi(x) = \sum_{k \in \mathbb{Z}} h_{\varphi}(k)\sqrt 2 \varphi(2x-k) \tag{5}$
該式叫做“細化或膨脹方程”（refinement or dilation equation），其中$h_{\varphi}(k)$叫做“擴展係數”（expansion coefficients），其所組成的有序集合$\{h_{\varphi }(k) | k=0,1,2,...\}$通常叫做尺度函數係數（scaling function coefficients）。對於正交的尺度函數，提供一種$h_{\varphi}$的求法：
$h_{\varphi}(k) = \left \langle \varphi(x), \sqrt 2 \varphi(2x-k) \right \rangle = \int \varphi(x) \sqrt 2 \varphi(2x-k) dx \tag{6}$
這是由於不同$k$的$\sqrt 2 \varphi(2x-k)$之間是互相正交的，所以由式(5)可以推出式(6).

小波函數（Mother Wavelet Function）

基本概念

小波函數修正了尺度函數表示和原始信號之間的差異。在給定尺度函數$\varphi(x)$後，一定存在一個小波函數$\psi(x)$，類似尺度函數的冪爲2的伸縮和整數倍的平移，得到函數
$\psi_{j,k}(x) = 2^{j/2}\psi(2^j x-k) \tag{7}$
其中$j,k \in \mathbb{Z}$。小波函數有啥用呢？如果我們令$W_{j_0}$表示小波函數集合$\{\psi_{j_0,k}|k \in \mathbb{Z}\}$所張成的空間，那麼
$V_{j_0+1}=V_{j_0} \oplus W_{j_0} \tag{8}$
其中$\oplus$表示所張成空間的並。形象地說，從$V_{j_0+1}$到$V_{j_0}$之間模糊部分，可以用$W_{j_0}$填補。
而且$W_{j_0}$和$V_{j_0}$中的基函數是正交的，即
$\left \langle \varphi_{j_0,k}(x) ，\psi_{j_0,l}(x) \right \rangle = 0 \qquad \text{ for } \ k \neq l \tag{9}$
尺度空間和小波空間之間的關係如下圖所示

實際上，兩者之間的聯繫可以寫成是
$\psi(x) = \sum _k h_\psi (k)\sqrt 2 \varphi(2x-k) \tag{10}$
其中$h_\psi (k)$叫做小波函數係數（wavelet function coefficients），可以寫成是有序集合$\{h_\psi (k)|k=0,1,2,...\}$.
而且，由於小波函數對整數平移之間是正交的，同時由式(9)和(10)，可以證明
$h_\psi (k)=(-1)^k h_{\varphi}(1-k) \tag{11}$

哈爾小波函數

哈爾尺度函數對應的小波函數爲
$\psi(x) = \begin{cases} 1 & 0 \le x< 0.5 \\ -1 & 0.5 \le x < 1 \\ 0 & \text{ elsewhere } \end{cases} \tag{12}$

下圖是一個例子

小波級數展開（Wavelet Series Expansion）

注意到
$L^2(\mathbb{R})=V_{j_0} \oplus W_{j_0} \oplus W_{j_0+1} \oplus ... \tag{13}$
其中$j_0$是一個任意起點。我們定義$f(x) \in L^2(\mathbb{R})$的小波級數展開爲：
$f(x) = \sum_k c_{j_0} (k) \varphi_{j_0, k} (x) + \sum_{j=j_0}^{\infty} \sum _k d_j(k)\psi_{j,k}(k) \tag{14}$
其中$c_{j_0}$和$d_j \ (j \ge j_0)$分別叫做近似和精細係數（approximation and detail coefficients）。式(14)的第一項是對$f(x)$的$j_0$級近似，第二項是更高級的不斷精細修正。如果尺度函數和小波函數是正交的，那麼有
$\begin{aligned} c_{j_0} &= \left \langle f(x), \varphi_{j_0, k}(x) \right \rangle \\ d_{j} &= \left \langle f(x), \psi{j_0, k}(x) \right \rangle \tag{15} \end{aligned}$
其中，內積的含義類似式(6).

這裏給出一個例子

對應展開爲

一維離散小波變換（1-D Discrete Wavelet Transform, DWT）

類似離散傅里葉變換，對於$N$個點的離散信號（$N=2^J$），取$j_0=0$，則有
$f(x)=\frac{1}{\sqrt N} [T_{\varphi }(0,0)\varphi_{0,0}(x)+ \sum_{j=0}^{J-1}\sum_{k=0}^{2^j-1}T_{\psi}(j,k)\psi _{j,k}(x)] \tag{16}$其中
$\begin{aligned} T_{\varphi}(0,0) &=\left \langle f(x), \varphi_{0,0}(x) \right \rangle =\left \langle f(x), \varphi(x) \right \rangle=\frac{1}{\sqrt N}\sum_{x=0}^{N-1} f(x)\varphi ^*(x) \\ T_\psi (j,k) &= \left \langle f(x), \psi_{j,k}(x) \right \rangle =\frac{1}{\sqrt N}\sum_{x=0}^{N-1} f(x)\psi_{j,k}^*(x) \tag{18} \end{aligned}$
以上，$j=0,1,...,J-1$，且$k=0,1,...,2^j - 1$，和連續情況類似，式(18)中的係數分別叫做近似和精細係數（approximation and detail coefficients）。如果尺度函數和小波函數是實函數，那麼式(18)中的共軛操作“$^*$”可以不要。

一個例子：如果4個點的信號，$f(0)=1,f(1)=4,f(2)=-3, f(3)=0$，那麼$N=4,J=2$，


從正交變換的角度，也即

後記

讀到這裏，小波變換到這裏記本上已經講清楚了這個過程。知道小波變換在幹什麼，這篇文章的目的就達到了。
其實後面還有一些東西，這裏只粗淺的簡記一下，想深入瞭解的，建議去看原版書。

快速小波變換（The Fast Wavelet Transform）

對於近似和精細係數，其實有以下關係：

• 連續情況
  $c_j(k) = \sum_n h_\varphi(n-2k)c_{j+1}(n) \\ d_j(k) = \sum_n h_\psi(n-2k)c_{j+1}(n)$
• 離散情況
  $T_{\varphi}(j,k) = \sum_n h_\varphi (n-2k)T_\varphi(j+1,n) \\ T_{\psi}(j,k) = \sum_n h_\psi (n-2k)T_\varphi(j+1,n)$

在離散的情況下，可以用卷積的方式計算係數
$T_\varphi (j,k) = T_\varphi(j+1, n) \bigstar h_\varphi (-n) \\ T_\psi (j,k) = T_\varphi(j+1, n) \bigstar h_\psi (-n)$
記下采樣$y_{2↓}(n)=y(2n)$，(n=1,2,…)，
用子帶編碼，係數可以採用如下的方式計算
時間複雜度從$\mathcal O (N \log_2 N)$降爲$\mathcal{O}(N)$.
下面是一個例子：
反變換爲：

二維快速小波變換

反變換爲

小波包（Wavelet Packets）

對每一層都嵌套的進行小波變換

參考文獻：
[1] Gonzales, Rafael C., and Richard E. Woods. “Digital image processing. Fourth Edition” (2018).