設(x1, y1), (x2,y2), ...(xk,yk)爲輸入樣本,注意這裏的xi本身是一個向量。
假設擬合多項式爲:
則通過使用下面的最小平方差擬合方法:
可得:
擬合過程變成求上式的最小值,相信學過高數的童鞋應該都知道怎麼求,對的以此對係數a0,a1....求偏導數,使其爲零,最後可得K+1組方程:
.......................
移項,表示成矩陣爲:
對範德蒙矩陣進行化簡的到:
即XA=Y,所以係數向量 A=(X‘X)-1X’Y,其中X'表示轉置,-1是求逆矩陣,這便是斯坦福大學裏機器學習第二節課的中梯度遞減算法的推導公式。
實際編程,只需求出係數向量,便可以進行後續的預測了!!!!