一元或多元線性迴歸:
特徵矩陣X點乘權重矩陣W後,生成了對應的預測值Y’,通過最小二乘法或者梯度下降法(對W求導),不斷對比預測值Y’和真實值Y的誤差值LOSS,調整W,使得LOSS值最小。
多項式迴歸(非線性迴歸):
和一元或多元線性迴歸類似,不過X是先經過一定的特徵處理,在保留原特徵的同時,根據原特徵新增部分的特徵(x的n次方)。由於神經元之間傳遞是線性的,非線性的傳遞需要由激活函數去實現。
激活函數的作用:
解決我們日常生活中不能用線性方程概括的問題。
假設面對分類問題,預測值Y’無法直接通過X點乘權重矩陣W直接得到,再X點乘權重矩陣W後再經過特定的激活函數,生成具備一定特徵的結果值,這裏設爲K,K再經過一定的判斷後,就可以得到預測值Y’。例如:sigmoid函數,把XW轉爲0到1之間的數,然後可以自定義判斷,比如大於0.5爲A類,小於或等於0.5爲B類。