迴歸問題的本質與激活函數的作用

一元或多元線性迴歸:

特徵矩陣X點乘權重矩陣W後,生成了對應的預測值Y’,通過最小二乘法或者梯度下降法(對W求導),不斷對比預測值Y’和真實值Y的誤差值LOSS,調整W,使得LOSS值最小。

多項式迴歸(非線性迴歸):

和一元或多元線性迴歸類似,不過X是先經過一定的特徵處理,在保留原特徵的同時,根據原特徵新增部分的特徵(x的n次方)。由於神經元之間傳遞是線性的,非線性的傳遞需要由激活函數去實現。

激活函數的作用:

解決我們日常生活中不能用線性方程概括的問題。

假設面對分類問題,預測值Y’無法直接通過X點乘權重矩陣W直接得到,再X點乘權重矩陣W後再經過特定的激活函數,生成具備一定特徵的結果值,這裏設爲K,K再經過一定的判斷後,就可以得到預測值Y’。例如:sigmoid函數,把XW轉爲0到1之間的數,然後可以自定義判斷,比如大於0.5爲A類,小於或等於0.5爲B類。

發佈了23 篇原創文章 · 獲贊 14 · 訪問量 2743
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章