由於最近面臨研究生複試，而有些導師最喜歡問最小二乘法的相關知識，因此，特地仔細研究了一下最小二乘法。
（研究的不深，僅供參考）
1.什麼是最小二乘法？
很多人都會被“最小二乘法”這個詞誤導了，不知所云。我覺得從它的英文意思更容易理解。最小二乘法的英文是：least square method，英文直譯是平方最小。也就是說，使實際輸出與預測輸出的平方之和最小。同時最小二乘法也是損失函數（loss function）之一。
什麼是損失函數（loss function）？
要理解損失函數，首先需要理解損失（loss）。預測值與真實值之差爲損失（loss）。描述損失的函數稱爲損失函數。損失函數常用於衡量模型的好壞。而平方損失函數也就是最小二乘法。
2.最小二乘法與梯度下降的區別和聯繫？
相同點：最小二乘法和梯度下降都是通過求導來求損失函數的最小值。
不同點：最小二乘法是對△直接求導令成0來求出全局最小，非迭代法。而梯度下降是一種迭代法，先給定一個數值，然後環顧四周，向下降梯度最快的方向調整，在若干次迭代後找到局部最小（相當於貪心算法）。
梯度下降法的缺點是：到最小的附近收斂變慢，並且對初始點的選擇極爲敏感。
最小二乘法的缺點是：不適用於特徵向量過多的情況。