多變量線性迴歸代價函數爲：
=\frac{1}{2m}\sum_{m}^{i=1}\left&space;(&space;h_{\theta}&space;\left&space;(&space;x^{i}&space;\right&space;)-y^{\left&space;(&space;i&space;\right&space;)}&space;\right&space;)^{2} "J(\theta _{0},\theta _{1},\cdots ,\theta n)=\frac{1}{2m}\sum_{m}^{i=1}\left ( h_{\theta} \left ( x^{i} \right )-y^{\left ( i \right )} \right )^{2}")
其中：
=\theta&space;^{T}X=\theta&space;_{0}x_{0}+\theta&space;_{1}x_{1}+\cdots&space;+\theta&space;_{n}x_{n} "h_{\theta }\left ( x \right )=\theta ^{T}X=\theta _{0}x_{0}+\theta _{1}x_{1}+\cdots +\theta _{n}x_{n}")
正規方程是通過求解下面的方程來找出使得代價函數最小的參數：
=0 "\frac{\partial }{\partial \theta _{j}}J(\theta _{j})=0")
設有m個訓練實例，每個實例有n個特徵，則訓練實例集爲：
其中
特徵參數爲：
輸出變量爲：
故代價函數爲：
進行求導，等價於如下的形式：
- 其中第一項：
- 第二項：
該矩陣求導爲分母佈局下的標量/向量形式：
故有，
- 第三項：
該矩陣求導爲分母佈局下的標量/向量形式：
故有：
- 第四項：
其中
該矩陣求導爲分母佈局下的標量/向量形式：
故有：
綜上，正規方程爲：
最終可得特徵參數的表示：
