經驗風險最小化，是根據定義的cost函數，來使訓練集合的cost(損失)函數的整體最小，一般常見的的損失函數有一下：
當選定了損失函數以後，就可以確定經驗風險函數：1/N * L(yi, f(xi)) ( i的範圍是１到Ｎ的所有訓練集做累加）；
所謂經驗風險最小化就是確定模型的參數使得經驗風險函數最小。
但是當訓練集合很小而訓練集合的元素特徵又比較多的時候，單單使用經驗風險最小化函數，會造成模型過擬合現象（過擬合就是訓練出來的模型對訓練集合的預測效果很好，但對新引入的數據預測效果很差。）
解決上面這種情況：有兩種方法，１、減少特徵，這樣可以避免過擬合現象，但是會導致模型未能更多的利用有效信息。
２，正則化（結構風險最小化）。
也就是訓練的目標改爲使得結構風險函數最小：
Ｊ(f) 表示的是模型的複雜度，前面的是係數。一般Ｊ(f)是模型參數向量的１範數或者是２範數。
這樣在原來的基礎之上加入後面的限制之後，會使得在訓練的過程中使得模型的參數總體儘可能變小，會使得模型避免過擬合現象。