二五、最小二乘逼近

1. 定義

假設

且方程無解，這意味着向量b不在A的列空間中：

雖然方程無解，但我們可以求得一個與向量b最接近的解，即：

最小時，方程：

的解。因爲向量在子空間的投影距離向量最近，因此：

向量x*稱爲最小二乘解(least squares solution, estimate, approximation)，它不是真正意義上的解，它是一個最優解。

2. 應用

最小二乘估計法是對過度確定系統（方程個數大於未知數個數的方程組）求得近似解的標準方法。