一句話解釋最小二乘法

最小二乘法

最小二乘法就是最小化平方和的方法。

對於樣本集 $\{x_1, x_2,...,x_N\}$中的每個樣本，它與預測值 $\tilde y$之間會有一個誤差 $\epsilon_i = x_i - \tilde y \qquad (i\in 1,...N)$，則這些誤差滿足一個分佈，數學家高斯證明了這個分佈爲正態分佈，從而證明了最小二乘法的合理性。

最小二乘法的公式爲：
$min \sum_{i=1}^N(x_i - \tilde y)$
上式取得最小值時的 y就是所要得到的結果。對上面式子求導=0，可以解出：
$\tilde y = \frac{x_1+x_2+...+x_N}{N}$
這正好就是它們的平均值。