機器學習-吳恩達 p23 筆記

      這堂課中講到了線性代數正規求解 θ=pinv(x'﹡x)﹡x'﹡y,有彈幕說這是最小二乘法。

      先設這裏的x和視頻中的維度一致,即n=1,特徵數爲1,m組數據。那麼x就是m*2的一個行列式,x'就是2*m的一個行列式。x'﹡x就是一個2﹡2的行列式,pinv(x'﹡x)也是一個2﹡2的行列式,pinv(x'﹡x)﹡x'是個2*m的行列式,y是m﹡1的行列式,pinv(x'﹡x)﹡x'﹡y就是2﹡1的行列式,即θ爲2﹡1的行列式。

      現在可以猜想一下,θ不就是x﹡θ=y的解嗎(學過線性代數的可能比較好理解),那麼現在就是需要證明行列式的解θ等於pinv(x'﹡x)﹡x'﹡y。

      先左右同乘以x'﹡x得出:x'﹡x﹡θ=x'﹡y。那麼現在要證明x﹡θ=y(就是證明A*B*C=A*D 可以推導出 B*C=D),因爲這裏已經比較好理解了,線性代數的知識我也忘了,就不證明了。

      如果n=1,那實實在在就是最小二乘法求那兩個最小系數a,b了。當n>1,就是說x變量多了,但還是一次函數,所以該方法還可用。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章