隱馬爾可夫模型：狀態序列估計問題

隱馬爾可夫模型：狀態序列估計問題（維特比算法）

維特比（Viterbi）算法用於求解HMM的第二個問題，即給定觀察序列$O = O_{1} O_{2} \cdots O_{T}$和模型$\mu = (\mathbf{A}, \mathbf{B}, \mathbf{\pi})$，選擇在一定意義下“最優”的狀態序列$Q = q_{1} q_{2} \cdots q_{T}$，使得該狀態序列“最好地解釋”觀察序列。該問題的答案並不唯一，它取決於對“最優狀態序列”的理解。一種理解是，使該狀態序列中每一個狀態都單獨地具有最大概率，即使$\gamma_{t}(i) = P(q_{t} = s_{i} | O; \mu)$最大。

根據貝葉斯公式，

$\begin{aligned} \gamma_{t}(i) & = P(q_{t} = s_{i} | O; \mu) \\ & = \frac{P(q_{t} = s_{i}, O; \mu)}{P(O; \mu)} \\ & = \frac{\alpha_{t}(i) \beta_{t}(i)}{\sum_{i = 1}^{N} \alpha_{t}(i) \beta_{t}(i)} \\ \end{aligned} \tag {6-19}$

則$t$時刻的最優狀態爲

$\hat{q}_{t} = \argmax_{1 \leq i \leq N} \gamma_{t}(i)$

這種只考慮使每個狀態的出現都單獨達到最大概率而忽略狀態序列中相鄰兩個狀態之間關係的“最優狀態序列”，可能導致相鄰兩個狀態$q_{t}$、$q_{t + 1}$之間的轉移概率爲0，即$a_{\hat{q}_{t}\hat{q}_{t + 1}} = 0$。因此，這種“最優狀態序列”可能爲非法序列。

通常，對“最優狀態序列”的理解爲：在給定模型$\mu)$和觀察序列$O$的條件下，使條件概率$P(Q | O; \mu)$最大的狀態序列，即

$\hat{Q} = \argmax_{Q} P(Q | O, \mu) \tag {6-20}$

這種理解可避免“斷序”問題。維特比算法運用動態規劃搜索算法求解這種最優狀態序列。

定義6-3（維特比變量$\delta_{t}(i)$）：在$t$時刻，HMM沿某一條路徑到達狀態$s_{i}$，並輸出觀察序列$O = O_{1} O_{2} \cdots O_{t}$的最大概率：

$\delta_{t}(i) = \max_{q_{1}, q_{2}, \cdots, q_{t - 1}} P(q_{1}, q_{2}, \cdots, q_{t - 1}, q_{t} = s_{i}, O_{1} O_{2} \cdots O_{t}; \mu) \tag {6-21}$

遞歸關係爲：

$\delta_{t + 1}(i) = b_{i}(O_{t + 1}) \max_{j} \delta_{t}(j) a_{ji} \tag {6-22}$

爲記錄$t$時刻，HMM通過哪一條概率最大的路徑到達狀態$s_{i}$，維特比算法設置變量$\psi_{t}(i)$保存路徑，$\psi_{t}(i)$記錄該路徑上狀態$s_{i}$的前一個（$t - 1$時刻）狀態。

算法6-3（維特比算法，Viterbi algorithm）

1. 初始化

$\delta_{1}(i) = \pi_{i} b_{i}(O_{1}), \ 1 \leq i \leq N$

$\psi_{1}(i) = 0$

2. 歸納計算

$\delta_{t}(j) = b_{j}(O_{t}) \max_{1 \leq i \leq N} \delta_{t - 1}(i) a_{ij}, \ 2 \leq t \leq T, 1 \leq j \leq N$

記憶回溯路徑：

$\psi_{t}(i) = \argmax_{1 \leq i \leq N} \delta_{t - 1}(i) a_{ij}$

3. 終結

$\hat{Q}_{T} = \argmax_{1 \leq i \leq N} \delta_{T}(i)$

$\hat{P}(\hat{Q}_{T}) = \max_{1 \leq i \leq N} \delta_{T}(i)$

4. 路徑（狀態序列）回溯：

$\hat{q}_{t} = \psi_{t + 1}(\hat{q}_{t + 1}), \ t = T - 1, T - 2, \cdots, 1$

維特比算法的計算時間複雜度爲$\mathcal{O}(N^{2}T)$。實際應用中，通常搜索$n$個最佳（$n$-best）路徑，因此，格架的每個結點上需要記錄$m$個最佳（$m$-best，$m \lt n$）狀態。