單變量隨機擴散過程的參數估計——Hermite序列近似估計轉移密度

隨機擴散過程參數估計——Hermite序列近似估計轉移密度

這篇博文基於作者個人最近閱讀Yacine（2002）年的一篇很經典的論文的理解。這篇文章比較牛逼之處在於可以通過Hermite序列近似估計出轉移概率密度（regardless the underlying distribution），從而得到一個外生得似然函數。並且可以擴展到多維的隨機過程。

(未完待續 …)

雖然Yacine公開了程序，但是作者最近求知慾爆棚（比較無聊），所以記下自己的理解和自己猜測的一些推導細節。當然，剛開始學習，理解還浮於表面，如果有不到位的地方，希望路過的大牛能夠指出。

對於一個一般的擴散過程：
$d \boldsymbol{X}_{t}=\mu\left(\boldsymbol{X}_{t} ; \boldsymbol{\theta}\right) d t+\sigma\left(\boldsymbol{X}_{t} ; \boldsymbol{\theta}\right) d \boldsymbol{W}_{t}\tag{1}$
比如說CIR過程：
$d x_{t}=\alpha\left(\mu-x_{t}\right) d t+\sigma \sqrt{x_{t}} d W_{t}\tag{1*}$
從作者的上一篇博文可知，CIR過程服從非中心卡方分佈，轉移概率計算相當複雜。但是通過一系列的變換，Yacine讓以上的過程更加近似於正態分佈，從而可以用Hermite序列來近似估計正態分佈函數。這個變換就是一個從X到Z的過程。得到Z過程的近似轉移概率後，我們可以倒推到X過程，從而推出外生的似然函數，最終目標如下：
$\ell_{n}(\theta) \equiv \sum_{i=1}^{n} \ln \left\{p_{X}\left(\Delta, X_{i \Delta} | X_{(i-1) \Delta} ; \theta\right)\right\}\tag{**}$
通過似然函數的最優化，即可以對未知參數進行估計。具體的變化過程如下：

第一步， 標準化，去除方差的影響。 $(X\rightarrow Y)$
$Y \equiv \gamma(X ; \theta)=\int^{x} d u / \sigma(u ; \theta)\tag{2}$
帶入Ito公式
$\begin{aligned} &d Y_{s}=\mu_{Y}\left(Y_{t} ; \theta\right) d t+d W_{t}, \quad \text { where }\\ &\mu_{Y}(y ; \theta)=\frac{\mu\left(\gamma^{-1}(y ; \theta) ; \theta\right)}{\sigma\left(\gamma^{-1}(y ; \theta) ; \theta\right)}-\frac{1}{2} \frac{\partial \sigma}{\partial x}\left(\gamma^{-1}(y ; \theta) ; \theta\right) \end{aligned}$
第二步， 中心化，去除尖峯影響。$(Y\rightarrow Z)$
$Z \equiv \Delta^{-1 / 2}\left(Y-y_{0}\right)\tag{3}$
第三步，利用Hermite序列近似逼近Z的轉移概率密度：
$p_{Z}^{(J)}\left(\Delta, z | y_{0} ; \theta\right) \equiv \phi(z) \sum_{j=0}^{J} \eta_{Z}^{(j)}\left(\Delta, y_{0} ; \theta\right) H_{j}(z)\tag{4}$
其中$\phi(z) \equiv e^{-z^{2} / 2} / \sqrt{2 \pi}$, 是標準的正態分佈密度函數。而
$H_{j}(z) \equiv e^{z^{2} / 2} \frac{d^{j}}{d z^{j}}\left[e^{-z^{2} / 2}\right], \quad j \geq 0\tag{5}$
是標準的Hermite序列。係數項可以如下的積分過程得到
$\eta_{Z}^{(j)}\left(\Delta, y_{0} ; \theta\right) \equiv(1 / j !) \int_{-\infty}^{+\infty} H_{j}(z) p_{Z}\left(\Delta, z | y_{0} ; \theta\right) d z\tag{6}$
這裏我想可以近似於傅里葉逼近來理解，畢竟Hermite序列也是正交序列。所以證明方法應該和傅里葉序列函數逼近差不多，因而我目前還不是特別好奇。

第四步，已知Z的狀態轉移密度，求Y的狀態轉移密度：$(Z\rightarrow Y)$

根據（3）和（4）：
$p_{Y}^{(J)}\left(\Delta, y | y_{0} ; \theta\right) \equiv \Delta^{-1 / 2} p_{Z}^{(J)}\left(\Delta, \Delta^{-1 / 2}\left(y-y_{0}\right) | y_{0} ; \theta\right)\tag{7}$
第五步，已知Y的轉移密度，得到X的轉移密度：$(Z\rightarrow Y)$
$p_{X}^{(J)}\left(\Delta, x | x_{0} ; \theta\right) \equiv \sigma(x ; \theta)^{-1} p_{Y}^{(J)}\left(\Delta, \gamma(x, \theta) | \gamma\left(x_{0} ; \theta\right) ; \theta\right)\tag{8}$
第六步，最大化似然函數（**）。

以上即爲Yacine似然估計的整個流程，而這裏最重要也最複雜的就是第三步，如何通過序列逼近$p_{Z}^{(J)}\left(\Delta, z | y_{0} ; \theta\right)$

通過較爲簡單的變量替換，我們有如下的結果
$\begin{aligned} \eta_{Z}^{(j)}\left(\Delta, y_{0} ; \theta\right) &=(1 / j !) \int_{-\infty}^{+\infty} H_{j}(z) p_{Z}\left(\Delta, z | y_{0} ; \theta\right) d z \\ &=(1 / j !) \int_{-\infty}^{+\infty} H_{j}(z) \Delta^{1 / 2} p_{Y}\left(\Delta, \Delta^{1 / 2} z+y_{0} | y_{0} ; \theta\right) d z \\ &=(1 / j !) \int_{-\infty}^{+\infty} H_{j}\left(\Delta^{-1 / 2}\left(y-y_{0}\right)\right) p_{Y}\left(\Delta, y | y_{0} ; \theta\right) d y \\ &=(1 / j !) E\left[H_{j}\left(\Delta^{-1 / 2}\left(Y_{t+\Delta}-y_{0}\right)\right) | Y_{t}=y_{0} ; \theta\right] \end{aligned}$
這裏，第二行的推導參照（7），可以反解出：
$p_{Z}\left(\Delta, z | y_{0} ; \theta\right)=\Delta^{1 / 2} p_{Y}\left(\Delta, \Delta^{1 / 2} z+y_{0} | y_{0} ; \theta\right)\tag{9}$
第三行帶入（3）即可。最後一行是期望的定義。然後最後一行的期望項用Tarlor公式展開:
$E\left[f\left(Y_{t+\Delta}, y_{0}\right) | Y_{t}=y_{0}\right]= \sum_{k=0}^{K} A^{k}(\theta) \cdot f\left(y_{0}, y_{0}\right) \frac{\Delta^{k}}{k !} \\ +E\left[A^{K+1}(\theta) \cdot f\left(Y_{t+\delta}, y_{0}\right) | Y_{t}=y_{0}\right] \frac{\Delta^{K+1}}{(K+1) !}\tag{10}$
這裏 $f\left(y, y_{0}\right)=H_{j}\left(\Delta^{-1 / 2}\left(Y_{t+\Delta}-y_{0}\right)\right)$. 通過定義 （5），我們展開前七項的Hermite序列

$H_0(z)$	1
$H_1(z)$	-x
$H_2(z)$	$x^2-1$
$H_3(z)$	$-x^3+3x$
$H_4(z)$	$x^4-6x^2+3$
$H_5(z)$	$-x^5+10x^3-15x$
$H_6(z)$	$x^6-15x^4+45x^2-15$

而算子$A = \mu_y\frac{\partial}{\partial y} +\frac{1}{2}\frac{\partial^2}{\partial y^2}$。這裏$\eta_{Z}^{(k,j)}\left(\Delta, y_{0} ; \theta\right)$有兩個上標， k表示泰勒展開的階數，j代表Hermite序列的階數。Yacine在文章中給出了前七項的表達式，如圖

還有第一項$\eta^{(0,3)}_Z=1$;
$\eta_{Z}^{(1,3)}=-\mu_{Y} \Delta^{1 / 2}-\left(2 \mu_{Y} \mu_{Y}^{[1]}+\mu_{Y}^{[2]}\right) \Delta^{3 / 2} / 4 \\ -\left(4 \mu_{Y} \mu_{Y}^{[1] 2}+4 \mu_{Y}^{2} \mu_{Y}^{[2]}+6 \mu_{Y}^{[1]} \mu_{Y}^{[2]}+4 \mu_{Y} \mu_{Y}^{[3]}+\mu_{Y}^{[4]}\right) \Delta^{5 / 2} / 24\tag{a}$
這裏給出第二項的證明，其他項亦然：

泰勒展開(10), $K=3$：
$A^{0}f(y_0,y_0)+A^1f(y_{0},y_{0})\Delta + A^{2}f\left( y_0,y_0 \right) \frac{\Delta^{2}} {2!} + A^{3}f\left( y_0,y_0 \right) \frac{\Delta^{3}}{3!} + E[A^{3}f\left( y_{t+\delta},y_0 \right)]\frac{\Delta^{4}}{4!}\tag{a.1}$
每一項計算如下：
$A^{0}f\left( y,y_0\right) =H\left(\Delta ^{-\frac {1} {2}}\left( y-y_{0}\right) \right)|_{y=y_0}=\Delta ^{-\frac {1}{2}}\left( y-y_{0}\right)|_{y=y_0}= 0$

$A^{1}f\left( y,y_0\right) = \mu\Delta ^{-\frac {1} {2}}$

$A^2f\left( y,y_0\right) = A(\mu\Delta^{-\frac{1}{2}})=\left(\mu\frac{\partial}{\partial y}(\mu) +\frac{1}{2}\frac{\partial^2}{\partial y^2}(\mu)\right)\Delta^{-\frac{1}{2}} = (\mu\mu^{(1)}+\mu^{(2)})\Delta^{-\frac{1}{2}}$

$A^3f\left( y,y_0\right) = A((\mu\mu^{(1)}+\mu^{(2)})\Delta^{-\frac{1}{2}}) = \left(\mu\frac{\partial}{\partial y}(\mu\mu^{(1)}+\mu^{(2)}) +\frac{1}{2}\frac{\partial^2}{\partial y^2}(\mu\mu^{(1)}+\mu^{(2)})\right)\Delta^{-\frac{1}{2}} \\=\frac{1}{2}\Delta^{-\frac{1}{2}}\left(4 \mu_{Y} \mu_{Y}^{[1] 2}+4 \mu_{Y}^{2} \mu_{Y}^{[2]}+6 \mu_{Y}^{[1]} \mu_{Y}^{[2]}+4 \mu_{Y} \mu_{Y}^{[3]}+\mu_{Y}^{[4]}\right)$

帶入以上的泰勒展開(a.1)即可得(a).

下面就來到了我頭疼了兩天的部分，（3）和（4）代入（7），我們會得到
$p_{Y}^{(J)}\left(\Delta, y | y_{0} ; \theta\right) \equiv \Delta^{-1 / 2} \phi(\Delta^{-1 / 2}\left(y-y_{0}\right)) \sum_{j=0}^{J} \eta_{Z}^{(j)}\left(\Delta, y_{0} ; \theta\right) H_{j}(\Delta^{-1 / 2}\left(y-y_{0}\right))\tag{11}$
把$\eta_{Z}^{(k,j)}\left(\Delta, y_{0} ; \theta\right)$和$H_j$代入到（11），並且取出$\Delta ^{k}$的所有係數項。便可推導出這篇文章最最最重要的一個結論：
$\tilde{p}_{Y}^{(K)}\left(\Delta, y | y_{0} ; \theta\right)=\Delta^{-1 / 2} \phi\left(\frac{y-y_{0}}{\Delta^{1 / 2}}\right) \exp \left(\int_{y_{0}}^{y} \mu_{Y}(w ; \theta) d w\right) \sum_{k=0}^{K} c_{k}\left(y | y_{0} ; \theta\right) \frac{\Delta^{k}}{k !}\tag{12*}$
其中$c_{0}\left(y | y_{0} ; \theta\right)=0$. 其他的項可以通過迭代算出
$c_{j}\left(y | y_{0} ; \theta\right)= j\left(y-y_{0}\right)^{-j} \int_{y_{0}}^{y}\left(w-y_{0}\right)^{j-1} \\ \times\left\{\lambda_{Y}(w ; \theta) c_{j-1}\left(w | y_{0} ; \theta\right)+\left(\partial^{2} c_{j-1}\left(w | y_{0} ; \theta\right) / \partial w^{2}\right) / 2\right\} d w\tag{12.1*}$
其實，我深知直接用（12*）和（12.1*）就可以解決我大部分的問題，但是小編個人天生愛研究（找虐），居然腦補了兩天這個是怎麼湊出來的，也算是小有所獲，但是今天比較晚了（媽媽叫我去喝牛奶），就先寫到這裏，明天晚上再繼續補充這部分的筆記。
實，我深知直接用（12*）和（12.1*）就可以解決我大部分的問題，但是小編個人天生愛研究（找虐），居然腦補了兩天這個是怎麼湊出來的，也算是小有所獲，但是今天比較晚了（媽媽叫我去喝牛奶），就先寫到這裏，明天晚上再繼續補充這部分的筆記。
參考文獻：
Maximum-Likelihood Estimation of Discretely-Sampled Diffusions: A Closed-Form Approximation Approach, Econometrica,2002, 70, 223-262 (this paper received the 1998 Cornerstone Research
Award)
鏈接：https://www.princeton.edu/~yacine/mle.pdf

結束語：本系列的文章是Yacine大神論文研究的讀後感，不得不表達一下自己的崇拜之情，Yacine開源了自己所有的文章和程序，讓大家使用和學習。超前的研究，超前的思想，雖然大神的境界不可企及，但是可以膜拜。哈哈，最重要的一點對自己說，從明天開始務正業，務正業！！！