看似最小二乘估計與最大似然估計在推導得到的結果很相似，但是其前提條件必須引起大家的注意！！！
對於最小二乘估計，最合理的參數估計量應該使得模型能最好地擬合樣本數據，也就是估計值和觀測值之差的平方和最小，其推導過程如下所示。其中Q表示誤差，Yi表示估計值，Yi'表示觀測值。
對於最大似然法，最合理的參數估計量應該使得從模型中抽取該n組樣本觀測值的概率最大，也就是概率分佈函數或者說是似然函數最大。顯然，這是從不同原理出發的兩種參數估計方法。因此最大似然法需要已知這個概率分佈函數，一般假設其滿足正態分佈函數的特性，在這種情況下，最大似然估計和最小二乘估計是等價的，也就是說估計結果是相同的，但是原理和出發點完全不同。其推導過程如下所示
最小二乘法以估計值與觀測值的差的平方和作爲損失函數，極大似然法則是以最大化目標值的似然概率函數爲目標函數，從概率統計的角度處理線性回歸併在似然概率函數爲高斯函數的假設下同最小二乘建立了的聯繫。
轉自：http://blog.csdn.net/xidianzhimeng/article/details/20847289