Logistic 迴歸是一個二分分類的算法。包括正向傳播和反向傳播兩個過程。正向過程計算代價函數，反向過程訓練參數。logistic 迴歸算法可以被看作是一個非常小的神經網絡。通過梯度下降法，來訓練w或者b，使得代價函數最小化。代價函數是一個凸函數，這樣可以找到全局最優解。函數的凸性也是爲什麼選擇在這個函數的原因。函數是凸的，無論從哪一點開始都應該到達同一點。 梯度下降法就是從初始點開始，每次朝最抖的下坡方向走一步
。從而確定合適的解w使代價函數值j(w)逼近最小值。最抖的方向數學上需要藉助偏導數。偏導數的計算是通過數學上的鏈式求導法則。
1.基本概念 樣本，訓練集。
(x,y)代表樣本。輸x是nx維的特徵向量。輸出y值是 0或者1.代表第i個樣本，m個樣本形成整個訓練集。m_train訓練集樣本個數，m_test測試集樣本個數。訓練集更緊湊的表示形式是將x向量按列堆疊成矩陣。矩陣x,nx（訓練集向量）m(訓練集個數)。輸出y矩陣1m. Python 中x.shap.可以輸出矩陣的維度(nx，m). y.shap輸出1*m.
好的慣例符號，可以將不同訓練樣本的數據聯繫起來。
2.logistic 迴歸的輸出
logistic迴歸的輸出是 其中。引用的目的是映射到0到1.
3.Logistic 迴歸的損失函數和代價函數
爲了訓練線性迴歸模型中的參數W,b.需要定一個成本函數。我們希望成本函數值越小越好，希望預測值能夠接近實際值。代價函數可以用估計值和實際值差的方差描述。但是logisitic算法不採用那種算法。
損失函數L用來定義。
損失函數是定義在單個訓練樣本的情況下的。
多個訓練樣本用代價函數描述：
4.梯度下降法
圖中簡化一個隨機變量，依據每次使得函數向下降最快的方向移動一步，迭代更新求解。
5.導數的計算----鏈式求導法則
相反的過程。
dvar你關心的最終變量的導數。
代碼實現中dv/da 記作da.dj/dv 記作dv 就是省略d目標函數。
一個計算圖從左到右計算成本函數j。從右到左計算導數。
計算偏導數來實現logistic的梯度下降法。通過導數流程圖來計算梯度。
其中a是logistic的輸出，也就是做出估計。y是樣本真實的值（1或者0）。
更換w1，w2,b的值是損失函數最小。
