最小二乘法進行曲線擬合

工作需求，這裏記錄一下數值插值和數值分析方面的算法，希望和大家一起進步。

曲線擬合的最小二乘定義

求一條曲線,使數據點均在離此曲線的上方或下方不遠處,所求的曲線稱爲擬合曲線,
它既能反映數據的總體分佈,又不至於出現局部較大的波動,更能反映被逼近函數的特性,
使求得的逼近函數與已知函數從總體上來說其偏差按某種方法度量達到最小,
這就是最小二乘法.

與函數插值不同，曲線擬合不要求曲線通過所有已知點，而是要求得到的近似函數能反映數據的基本關係，
在某種意義上,曲線擬合更有實用價值.

$已知離散觀測數據點 f(x):(x_0,y_0)、(x_1,y_1)、(x_2,y_2)\cdots(x_n,y_n),求得曲線擬合函數p(x)，記p(x)在x_i處的殘差爲：\\ \epsilon_i = p(x_i) - f(x_i) (i=0,1,2\cdots,n)\\ 記向量e=[\epsilon_0,\epsilon_1\cdots,\epsilon_n]\\ 若e的2-範數：\Sigma^n_{i=0}\epsilon^2_i = \Sigma^n_{i=0}[p(x_i)-f(x_i)]^2爲最小\\ 則p(x)爲最小二乘法擬合得來的曲線.$

最小二乘法–多項式擬合

條件：

$對於給定的一組數據(x_i,y_i),i=1,2,...,m,尋求次數不超過n (n<<m)的多項式:\\ y = a_0 + a_1x + a_2x^2 + ... + a_nx^n 來擬合給定的數據，使偏差的平方和\\ Q = \Sigma^m_{i=1}(y_i-\Sigma^n_{j=0}a_jx^j_i)^2 爲最小.$

Q可以看做是關於係數a的多元函數，所以擬合多項式的構造問題可歸結爲多元函數的極值問題：

$\frac {\partial Q } {\partial a_k }=0,\quad k=0,1,2,...,n\\ 即：\\ \Sigma^m_{i=1}(y_i-\Sigma^n_{j=0}a_jx^j_i)x^k_i=0 ,\quad k=0,1,2,...,n\\$

上式是關於係數a的線性方程組，有唯一解.

算法示例

多項式擬合–直線擬合

取數據點：

$(1,1),(2.5,2),(3,3.3),(3.5,4),(5.6,5),(9,8),(11,9)\\ 設擬合曲線 p(x) = a_0+a_1x$

求e -2範數關於a0,a1的偏導數，得到下列方程組：

$\begin{cases} 2\Sigma^m_{i=1}(a_0+a_1x_i-y_i)=0\\ \\ 2\Sigma^m_{i=1}(a_0+a_1x_i-y_i)x_i=0\\ \end{cases} \\ 得到：\\ \begin{cases} a_0m+a_1\Sigma^m_{i=1}x_i=\Sigma^m_{i=1}y_i\\ \\ a_0\Sigma^m_{i=1}x_i+a_1\Sigma^m_{i=1}x^2_i=\Sigma^m_{i=1}x_iy_i\\ \end{cases}$

總共有7個數據點，取m=7,使用高斯消元法解上述方程組，解得：

$a_0 = 0.5466852879821776\\ a_1 = 0.7998090725877739$

python圖像爲：

多項式擬合–拋物線擬合

$設擬合曲線 p(x) = ax^2+bx+c$

求e -2範數關於a,b,c的偏導數，三個方程，利用高斯消元法，即可解得拋物線方程。
步驟和直線擬合類似，不再敘述.