簡單來說，訓練模型表示通過有標籤樣本來學習（確定）所有權重和偏差的理想值。在監督式學習中，機器學習算法通過以下方式構建模型：檢查多個樣本並嘗試找出可最大限度地減少損失的模型；這一過程稱爲經驗風險最小化。
損失是對糟糕預測的懲罰。也就是說，損失是一個數值，表示對於單個樣本而言模型預測的準確程度。如果模型的預測完全準確，則損失爲零，否則損失會較大。訓練模型的目標是從所有樣本中找到一組平均損失“較小”的權重和偏差。例如，圖 3 左側顯示的是損失較大的模型，右側顯示的是損失較小的模型。關於此圖，請注意以下幾點：
- 紅色箭頭表示損失。
- 藍線表示預測。
圖 3. 左側模型的損失較大；右側模型的損失較小。
請注意，左側曲線圖中的紅色箭頭比右側曲線圖中的對應紅色箭頭長得多。顯然，相較於左側曲線圖中的藍線，右側曲線圖中的藍線代表的是預測效果更好的模型。
您可能想知道自己能否創建一個數學函數（損失函數），以有意義的方式彙總各個損失。
平方損失：一種常見的損失函數
接下來我們要看的線性迴歸模型使用的是一種稱爲平方損失（又稱爲 L2 損失）的損失函數。單個樣本的平方損失如下：
= the square of the difference between the label and the prediction
= (observation - prediction(x))2
= (y - y')2均方誤差 (MSE) 指的是每個樣本的平均平方損失。要計算 MSE，請求出各個樣本的所有平方損失之和，然後除以樣本數量：
雖然 MSE 常用於機器學習，但它既不是唯一實用的損失函數，也不是適用於所有情形的最佳損失函數。
——來自Google機器學習速成課程