在網上通過看斯坦福大學的機器學習課程，覺得講的非常好。同時，爲了加強自己的記憶，決定將自己學到的東西和一些理解記錄下來，希望有所收穫。廢話不多說，直接開始筆記：
局部加權迴歸（locally weighted regression）LWR
我們在現實生活中的模型，大多數情況下不能夠用線性模型去擬合。如果採用線性模型去擬合就會產生欠擬合（under-fitting）,如下圖的分佈（專業的畫圖工具比較複雜，就隨便畫一下吧）：
我們可以看到，這並不是我們想要的結果，當有新的x的時候，我們的預測也會跟實際值差很遠。那怎麼辦呢？雖然我們不能再全局用線性模型來進行擬合，但是我們可以在一個局部鄰域裏面來用直線擬合。例如下圖所示：
顯然通過局部線性迴歸得到的y值要牢靠的多。
由於是線性迴歸，因此我們可以有如下假設：
（吐槽一下，編輯公式真麻煩，還是手寫吧）
爲了達到在鄰域內實現線性擬合，則x附件的值的權重更大，因此我們的目標是：
此時，加權的思想就表現在權重wi上，通過函數，我們可以看到當xi距離x越近，wi的值越接近於1，則在最終的線性模型中起到的影響越大，反之，wi越接近於0，產生的作用越小。
這個模型相對比較簡單，但是，有明顯的缺陷。
1.當數據量比較大的時候，計算量比較大，代價較大。
2.每次進來新的x時，需要重新根據訓練數據得到局部加權迴歸模型。
3。不一定能夠解決under-fitting的問題