從頭理解softmax，筆記

損失函數

指數損失函數（Adaboost）

平方差損失函數：yolo

交叉熵損失函數：softmaxloss

線性分類:y=w0x0+w1x1+…+wnxn=w轉置x

激活函數sigmoid函數：（作用是爲了引入非線性因素，提高非線性分類能力）。

得到Logistics假設函數：，非線性二分類。

對於輸入x分類結果爲類別1和類別0的概率分別爲:

P(y = 1 | x;θ)= hθ(x)

P(y = 0 | x;θ)= 1−hθ(x)

通過極大似然估計推導出損失函數：

Softmax是將logistics迴歸的二分類問題變爲K分類問題，

Softmax每個類別的假設函數組成的總體假設函數：

每一個樣本估計其所屬的類別的概率（softmax score）爲：

極大似然估計推導出損失函數：

使用梯度下降法求出最優的一組參數。

Softmax，在實際應用中，爲了使算法實現更簡單清楚，往往保留所有參數 ，而不任意地將某一參數設置爲 0。但此時我們需要對代價函數做一個改動：加入權重衰減。權重衰減可以解決 softmax 迴歸的參數冗餘所帶來的數值問題。

損失函數爲：

使用梯度下降法求出最優的一組參數。