一前言

前面的文章介紹了很多分類算法，分類的目標變量是標稱型數據，而本文將會對連續型的數據做出預測。主要講解簡單的線性迴歸和局部加權線性迴歸，並通過預測鮑魚年齡的實例進行實戰演練。

二什麼是迴歸？

迴歸的目的是預測數值型的目標值。最直接的辦法是依據輸入寫出一個目標值的計算公式。假如你想預測小姐姐男友汽車的功率，可能會這麼計算：

HorsePower = 0.0015 * annualSalary - 0.99 * hoursListeningToPublicRadio

寫成中文就是：

小姐姐男友汽車的功率 = 0.0015 * 小姐姐男友年薪 - 0.99 * 收聽公共廣播的時間

這就是所謂的迴歸方程（regression equation），其中的0.0015和-0.99稱爲迴歸係數（regression weights），求這些迴歸係數的過程就是迴歸。一旦有了這些迴歸係數，再給定輸入，做預測就非常容易了。具體的做法是用迴歸係數乘以輸入值，再將結果全部加在一起，就得到了預測值。

說到迴歸，一般都是指線性迴歸（linear regression），所以本文裏的迴歸和線性迴歸代表同一個意思。線性迴歸意味着可以將輸入項分別乘以一些常量，再將結果加起來得到輸出。需要說明的是，存在另一種成爲非線性迴歸的迴歸模型，該模型不認同上面的做法，比如認爲輸出可能是輸入的乘積。這樣，上面的功率計算公式也可以寫做：

HorsePower = 0.0015 * annualSalary / hoursListeningToPublicRadio

這就是一個非線性迴歸的例子，本文對此不做深入討論。

三揭開回歸的神祕面紗

1 用線性迴歸找到最佳擬合直線

應該怎麼從一大堆數據裏求出迴歸方程呢？假定輸入數據存放在矩陣X中，結果存放在向量y中：

而回歸係數存放在向量w中：

那麼對於給定的數據x1，即矩陣X的第一列數據，預測結果u1將會通過如下公式給出：

現在的問題是，手裏有數據矩陣X和對應的標籤向量y，怎麼才能找到w呢？一個常用的方法就是找出使誤差最小的w。這裏的誤差是指預測u值和真實y值之間的差值，使用該誤差的簡單累加將使得正差值和負差值相互抵消，所以我們採用平方誤差。

平方誤差和可以寫做：

用矩陣表示還可以寫做：

爲啥能這麼變化，記住一個前提：若x爲向量，則默認x爲列向量，x^T爲行向量。將上述提到的數據矩陣X和標籤向量y帶進去，就知道爲何這麼變化了。

在繼續推導之前，我們要先明確一個目的：找到w，使平方誤差和最小。因爲我們認爲平方誤差和越小，說明線性迴歸擬合效果越好。

現在，我們用矩陣表示的平方誤差和對w進行求導：

如果對於矩陣求不熟悉的，可以移步這裏：點擊查看

令上述公式等於0，得到：

w上方的小標記表示，這是當前可以估計出的w的最優解。從現有數據上估計出的w可能並不是數據中的真實w值，所以這裏使用了一個”帽”符號來表示它僅是w的一個最佳估計。

值得注意的是，上述公式中包含逆矩陣，也就是說，這個方程只在逆矩陣存在的時候使用，也即是這個矩陣是一個方陣，並且其行列式不爲0。

述的最佳w求解是統計學中的常見問題，除了矩陣方法外還有很多其他方法可以解決。通過調用NumPy庫裏的矩陣方法，我們可以僅使用幾行代碼就完成所需功能。該方法也稱作OLS，意思是“普通小二乘法”（ordinary least squares）。
我們先看下數據集，數據下載地址：數據集下載

第一列都爲1.0，即x0。第二列爲x1，即x軸數據。第三列爲x2，即y軸數據。首先繪製下數據，看下數據分佈。編寫代碼如下：

# -*- coding:utf-8 -*-
import matplotlib.pyplot as plt
import numpy as np

def loadDataSet(fileName):
    """
    函數說明:加載數據
    Parameters:
        fileName - 文件名
    Returns:
        xArr - x數據集
        yArr - y數據集
    """

    numFeat = len(open(fileName).readline().split('\t')) - 1
    xArr = []; yArr = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr =[]
        curLine = line.strip().split('\t')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        xArr.append(lineArr)
        yArr.append(float(curLine[-1]))
    return xArr, yArr

def plotDataSet():
    """
    函數說明:繪製數據集
    Parameters:
        無
    Returns:
        無
    Website:
        http://www.cuijiahua.com/
    Modify:
        2017-11-12
    """
    xArr, yArr = loadDataSet('ex0.txt')                                    #加載數據集
    n = len(xArr)                                                        #數據個數
    xcord = []; ycord = []                                                #樣本點
    for i in range(n):                                                   
        xcord.append(xArr[i][1]); ycord.append(yArr[i])                    #樣本點
    fig = plt.figure()
    ax = fig.add_subplot(111)                                            #添加subplot
    ax.scatter(xcord, ycord, s = 20, c = 'blue',alpha = .5)                #繪製樣本點
    plt.title('DataSet')                                                #繪製title
    plt.xlabel('X')
    plt.show()

if __name__ == '__main__':
    plotDataSet()

運行代碼如下：

通過可視化數據，我們可以看到數據的分佈情況。接下來，讓我們根據上文中推導的迴歸係數計算方法，求出迴歸係數向量，並根據迴歸係數向量繪製迴歸曲線，編寫代碼如下：

# -*- coding:utf-8 -*-
import matplotlib.pyplot as plt
import numpy as np

def loadDataSet(fileName):
    """
    函數說明:加載數據
    Parameters:
        fileName - 文件名
    Returns:
        xArr - x數據集
        yArr - y數據集
    """
    numFeat = len(open(fileName).readline().split('\t')) - 1
    xArr = []; yArr = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr =[]
        curLine = line.strip().split('\t')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        xArr.append(lineArr)
        yArr.append(float(curLine[-1]))
    return xArr, yArr

def standRegres(xArr,yArr):
    """
    函數說明:計算迴歸係數w
    Parameters:
        xArr - x數據集
        yArr - y數據集
    Returns:
        ws - 迴歸係數

    """
    xMat = np.mat(xArr); yMat = np.mat(yArr).T
    xTx = xMat.T * xMat                            #根據文中推導的公示計算迴歸係數
    if np.linalg.det(xTx) == 0.0:
        print("矩陣爲奇異矩陣,不能求逆")
        return
    ws = xTx.I * (xMat.T*yMat)
    return ws

def plotRegression():
    """
    函數說明:繪製迴歸曲線和數據點
    Parameters:
        無
    Returns:
        無
    Website:
        http://www.cuijiahua.com/
    Modify:
        2017-11-12
    """
    xArr, yArr = loadDataSet('ex0.txt')                                    #加載數據集
    ws = standRegres(xArr, yArr)                                        #計算迴歸係數
    xMat = np.mat(xArr)                                                    #創建xMat矩陣
    yMat = np.mat(yArr)                                                    #創建yMat矩陣
    xCopy = xMat.copy()                                                    #深拷貝xMat矩陣
    xCopy.sort(0)                                                        #排序
    yHat = xCopy * ws                                                     #計算對應的y值
    fig = plt.figure()
    ax = fig.add_subplot(111)                                            #添加subplot
    ax.plot(xCopy[:, 1], yHat, c = 'red')                                #繪製迴歸曲線
    ax.scatter(xMat[:,1].flatten().A[0], yMat.flatten().A[0], s = 20, c = 'blue',alpha = .5)                #繪製樣本點
    plt.title('DataSet')                                                #繪製title
    plt.xlabel('X')
    plt.show()

if __name__ == '__main__':
    plotRegression()

運行代碼如下：

如何判斷擬合曲線的擬合效果的如何呢？當然，我們可以根據自己的經驗進行觀察，除此之外，我們還可以使用corrcoef方法，來比較預測值和真實值的相關性。編寫代碼如下：

# -*- coding:utf-8 -*-
import numpy as np

def loadDataSet(fileName):
    """
    函數說明:加載數據
    Parameters:
        fileName - 文件名
    Returns:
        xArr - x數據集
        yArr - y數據集

    """
    numFeat = len(open(fileName).readline().split('\t')) - 1
    xArr = []; yArr = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr =[]
        curLine = line.strip().split('\t')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        xArr.append(lineArr)
        yArr.append(float(curLine[-1]))
    return xArr, yArr

def standRegres(xArr,yArr):
    """
    函數說明:計算迴歸係數w
    Parameters:
        xArr - x數據集
        yArr - y數據集
    Returns:
        ws - 迴歸係數

    """
    xMat = np.mat(xArr); yMat = np.mat(yArr).T
    xTx = xMat.T * xMat                            #根據文中推導的公示計算迴歸係數
    if np.linalg.det(xTx) == 0.0:
        print("矩陣爲奇異矩陣,不能求逆")
        return
    ws = xTx.I * (xMat.T*yMat)
    return ws

if __name__ == '__main__':
    xArr, yArr = loadDataSet('ex0.txt')                                    #加載數據集
    ws = standRegres(xArr, yArr)                                        #計算迴歸係數
    xMat = np.mat(xArr)                                                    #創建xMat矩陣
    yMat = np.mat(yArr)                                                    #創建yMat矩陣
    yHat = xMat * ws
    print(np.corrcoef(yHat.T, yMat))

運行結果如下：

可以看到，對角線上的數據是1.0，因爲yMat和自己的匹配是完美的，而YHat和yMat的相關係數爲0.98。

最佳擬合直線方法將數據視爲直線進行建模，具有十分不錯的表現。數據當中似乎還存在其他的潛在模式。那麼如何才能利用這些模式呢？我們可以根據數據來局部調整預測，下面就會介紹這種方法。

2 局部加權線性迴歸

線性迴歸的一個問題是有可能出現欠擬合現象，因爲它求的是具有小均方誤差的無偏估計。顯而易見，如果模型欠擬合將不能取得好的預測效果。所以有些方法允許在估計中引入一些偏差，從而降低預測的均方誤差。

其中的一個方法是局部加權線性迴歸（Locally Weighted Linear Regression，LWLR）。在該方法中，我們給待預測點附近的每個點賦予一定的權重。與kNN一樣，這種算法每次預測均需要事先選取出對應的數據子集。該算法解除迴歸係數W的形式如下：

其中W是一個矩陣，這個公式跟我們上面推導的公式的區別就在於W，它用來給每個店賦予權重。

LWLR使用”核”（與支持向量機中的核類似）來對附近的點賦予更高的權重。核的類型可以自由選擇，最常用的核就是高斯核，高斯覈對應的權重如下：

這樣我們就可以根據上述公式，編寫局部加權線性迴歸，我們通過改變k的值，可以調節迴歸效果，編寫代碼如下：

# -*- coding:utf-8 -*-
from matplotlib.font_manager import FontProperties
import matplotlib.pyplot as plt
import numpy as np
def loadDataSet(fileName):
    """
    函數說明:加載數據
    Parameters:
        fileName - 文件名
    Returns:
        xArr - x數據集
        yArr - y數據集

    """
    numFeat = len(open(fileName).readline().split('\t')) - 1
    xArr = []; yArr = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr =[]
        curLine = line.strip().split('\t')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        xArr.append(lineArr)
        yArr.append(float(curLine[-1]))
    return xArr, yArr

def plotlwlrRegression():
    """
    函數說明:繪製多條局部加權迴歸曲線
    Parameters:
        無
    Returns:
        無
    """
    font = FontProperties(fname=r"c:\windows\fonts\simsun.ttc", size=14)
    xArr, yArr = loadDataSet('ex0.txt')                                    #加載數據集
    yHat_1 = lwlrTest(xArr, xArr, yArr, 1.0)                            #根據局部加權線性迴歸計算yHat
    yHat_2 = lwlrTest(xArr, xArr, yArr, 0.01)                            #根據局部加權線性迴歸計算yHat
    yHat_3 = lwlrTest(xArr, xArr, yArr, 0.003)                            #根據局部加權線性迴歸計算yHat
    xMat = np.mat(xArr)                                                    #創建xMat矩陣
    yMat = np.mat(yArr)                                                    #創建yMat矩陣
    srtInd = xMat[:, 1].argsort(0)                                        #排序，返回索引值
    xSort = xMat[srtInd][:,0,:]
    fig, axs = plt.subplots(nrows=3, ncols=1,sharex=False, sharey=False, figsize=(10,8))                                        
    axs[0].plot(xSort[:, 1], yHat_1[srtInd], c = 'red')                        #繪製迴歸曲線
    axs[1].plot(xSort[:, 1], yHat_2[srtInd], c = 'red')                        #繪製迴歸曲線
    axs[2].plot(xSort[:, 1], yHat_3[srtInd], c = 'red')                        #繪製迴歸曲線
    axs[0].scatter(xMat[:,1].flatten().A[0], yMat.flatten().A[0], s = 20, c = 'blue', alpha = .5)                #繪製樣本點
    axs[1].scatter(xMat[:,1].flatten().A[0], yMat.flatten().A[0], s = 20, c = 'blue', alpha = .5)                #繪製樣本點
    axs[2].scatter(xMat[:,1].flatten().A[0], yMat.flatten().A[0], s = 20, c = 'blue', alpha = .5)                #繪製樣本點
    #設置標題,x軸label,y軸label
    axs0_title_text = axs[0].set_title(u'局部加權迴歸曲線,k=1.0',FontProperties=font)
    axs1_title_text = axs[1].set_title(u'局部加權迴歸曲線,k=0.01',FontProperties=font)
    axs2_title_text = axs[2].set_title(u'局部加權迴歸曲線,k=0.003',FontProperties=font)
    plt.setp(axs0_title_text, size=8, weight='bold', color='red')  
    plt.setp(axs1_title_text, size=8, weight='bold', color='red')  
    plt.setp(axs2_title_text, size=8, weight='bold', color='red')  
    plt.xlabel('X')
    plt.show()
def lwlr(testPoint, xArr, yArr, k = 1.0):
    """
    函數說明:使用局部加權線性迴歸計算迴歸係數w
    Parameters:
        testPoint - 測試樣本點
        xArr - x數據集
        yArr - y數據集
        k - 高斯核的k,自定義參數
    Returns:
        ws - 迴歸係數
    """
    xMat = np.mat(xArr); yMat = np.mat(yArr).T
    m = np.shape(xMat)[0]
    weights = np.mat(np.eye((m)))                                        #創建權重對角矩陣
    for j in range(m):                                                  #遍歷數據集計算每個樣本的權重
        diffMat = testPoint - xMat[j, :]                                 
        weights[j, j] = np.exp(diffMat * diffMat.T/(-2.0 * k**2))
    xTx = xMat.T * (weights * xMat)                                        
    if np.linalg.det(xTx) == 0.0:
        print("矩陣爲奇異矩陣,不能求逆")
        return
    ws = xTx.I * (xMat.T * (weights * yMat))                            #計算迴歸係數
    return testPoint * ws
def lwlrTest(testArr, xArr, yArr, k=1.0):  
    """
    函數說明:局部加權線性迴歸測試
    Parameters:
        testArr - 測試數據集
        xArr - x數據集
        yArr - y數據集
        k - 高斯核的k,自定義參數
    Returns:
        ws - 迴歸係數

    """
    m = np.shape(testArr)[0]                                            #計算測試數據集大小
    yHat = np.zeros(m)    
    for i in range(m):                                                    #對每個樣本點進行預測
        yHat[i] = lwlr(testArr[i],xArr,yArr,k)
    return yHat
if __name__ == '__main__':
    plotlwlrRegression()

運行結果如下：

可以看到，當k越小，擬合效果越好。但是當k過小，會出現過擬合的情況，例如k等於0.003的時候。

四預測鮑魚的年齡

接下來，我們將回歸用於真是數據。在abalone.txt文件中記錄了鮑魚（一種水生物→__→）的年齡，這個數據來自UCI數據集合的數據。鮑魚年齡可以從鮑魚殼的層數推算得到。

數據集下載地址：數據集下載

數據集的數據如下：

可以看到，數據集是多維的，所以我們很難畫出它的分佈情況。每個維度數據的代表的含義沒有給出，不過沒有關係，我們只要知道最後一列的數據是y值就可以了，最後一列代表的是鮑魚的真實年齡，前面幾列的數據是一些鮑魚的特徵，例如鮑魚殼的層數等。我們不做數據清理，直接用上所有特徵，測試下我們的局部加權迴歸。

新建abalone.py文件，添加rssError函數，用於評價最後迴歸結果。編寫代碼如下：

# -*- coding:utf-8 -*-
from matplotlib.font_manager import FontProperties
import matplotlib.pyplot as plt
import numpy as np
def loadDataSet(fileName):
    """
    函數說明:加載數據
    Parameters:
        fileName - 文件名
    Returns:
        xArr - x數據集
        yArr - y數據集
    """
    numFeat = len(open(fileName).readline().split('\t')) - 1
    xArr = []; yArr = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr =[]
        curLine = line.strip().split('\t')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        xArr.append(lineArr)
        yArr.append(float(curLine[-1]))
    return xArr, yArr
def lwlr(testPoint, xArr, yArr, k = 1.0):
    """
    函數說明:使用局部加權線性迴歸計算迴歸係數w
    Parameters:
        testPoint - 測試樣本點
        xArr - x數據集
        yArr - y數據集
        k - 高斯核的k,自定義參數
    Returns:
        ws - 迴歸係數
    """
    xMat = np.mat(xArr); yMat = np.mat(yArr).T
    m = np.shape(xMat)[0]
    weights = np.mat(np.eye((m)))                                        #創建權重對角矩陣
    for j in range(m):                                                  #遍歷數據集計算每個樣本的權重
        diffMat = testPoint - xMat[j, :]                                 
        weights[j, j] = np.exp(diffMat * diffMat.T/(-2.0 * k**2))
    xTx = xMat.T * (weights * xMat)                                        
    if np.linalg.det(xTx) == 0.0:
        print("矩陣爲奇異矩陣,不能求逆")
        return
    ws = xTx.I * (xMat.T * (weights * yMat))                            #計算迴歸係數
    return testPoint * ws
def lwlrTest(testArr, xArr, yArr, k=1.0):  
    """
    函數說明:局部加權線性迴歸測試
    Parameters:
        testArr - 測試數據集,測試集
        xArr - x數據集,訓練集
        yArr - y數據集,訓練集
        k - 高斯核的k,自定義參數
    Returns:
        ws - 迴歸係數
    """
    m = np.shape(testArr)[0]                                            #計算測試數據集大小
    yHat = np.zeros(m)    
    for i in range(m):                                                    #對每個樣本點進行預測
        yHat[i] = lwlr(testArr[i],xArr,yArr,k)
    return yHat
def standRegres(xArr,yArr):
    """
    函數說明:計算迴歸係數w
    Parameters:
        xArr - x數據集
        yArr - y數據集
    Returns:
        ws - 迴歸係數
    """
    xMat = np.mat(xArr); yMat = np.mat(yArr).T
    xTx = xMat.T * xMat                            #根據文中推導的公示計算迴歸係數
    if np.linalg.det(xTx) == 0.0:
        print("矩陣爲奇異矩陣,不能求逆")
        return
    ws = xTx.I * (xMat.T*yMat)
    return ws
def rssError(yArr, yHatArr):
    """
    誤差大小評價函數
    Parameters:
        yArr - 真實數據
        yHatArr - 預測數據
    Returns:
        誤差大小
    """
    return ((yArr - yHatArr) **2).sum()
if __name__ == '__main__':
    abX, abY = loadDataSet('abalone.txt')
    print('訓練集與測試集相同:局部加權線性迴歸,核k的大小對預測的影響:')
    yHat01 = lwlrTest(abX[0:99], abX[0:99], abY[0:99], 0.1)
    yHat1 = lwlrTest(abX[0:99], abX[0:99], abY[0:99], 1)
    yHat10 = lwlrTest(abX[0:99], abX[0:99], abY[0:99], 10)
    print('k=0.1時,誤差大小爲:',rssError(abY[0:99], yHat01.T))
    print('k=1  時,誤差大小爲:',rssError(abY[0:99], yHat1.T))
    print('k=10 時,誤差大小爲:',rssError(abY[0:99], yHat10.T))
    print('')
    print('訓練集與測試集不同:局部加權線性迴歸,核k的大小是越小越好嗎？更換數據集,測試結果如下:')
    yHat01 = lwlrTest(abX[100:199], abX[0:99], abY[0:99], 0.1)
    yHat1 = lwlrTest(abX[100:199], abX[0:99], abY[0:99], 1)
    yHat10 = lwlrTest(abX[100:199], abX[0:99], abY[0:99], 10)
    print('k=0.1時,誤差大小爲:',rssError(abY[100:199], yHat01.T))
    print('k=1  時,誤差大小爲:',rssError(abY[100:199], yHat1.T))
    print('k=10 時,誤差大小爲:',rssError(abY[100:199], yHat10.T))
    print('')
    print('訓練集與測試集不同:簡單的線性歸回與k=1時的局部加權線性迴歸對比:')
    print('k=1時,誤差大小爲:', rssError(abY[100:199], yHat1.T))
    ws = standRegres(abX[0:99], abY[0:99])
    yHat = np.mat(abX[100:199]) * ws
    print('簡單的線性迴歸誤差大小:', rssError(abY[100:199], yHat.T.A))

運行結果如下：

可以看到，當k=0.1時，訓練集誤差小，但是應用於新的數據集之後，誤差反而變大了。這就是經常說道的過擬合現象。我們訓練的模型，我們要保證測試集準確率高，這樣訓練出的模型纔可以應用於新的數據，也就是要加強模型的普適性。可以看到，當k=1時，局部加權線性迴歸和簡單的線性迴歸得到的效果差不多。這也表明一點，必須在未知數據上比較效果才能選取到最佳模型。那麼最佳的核大小是10嗎？或許是，但如果想得到更好的效果，應該用10個不同的樣本集做10次測試來比較結果。

本示例展示瞭如何使用局部加權線性迴歸來構建模型，可以得到比普通線性迴歸更好的效果。局部加權線性迴歸的問題在於，每次必須在整個數據集上運行。也就是說爲了做出預測，必須保存所有的訓練數據。

五總結

在局部加權線性迴歸中，過小的核可能導致過擬合現象，即測試集表現良好，訓練集表現就渣渣了。
訓練的模型要在測試集比較它們的效果，而不是在訓練集上。
下篇文章將繼續講解迴歸，會介紹另一種提高預測精度的方法。

參考資料：

[1] 機器學習實戰第八章內容

機器學習實戰（七）01-線性迴歸基礎篇之預測鮑魚年齡

一前言

二什麼是迴歸？

三揭開回歸的神祕面紗

1 用線性迴歸找到最佳擬合直線

2 局部加權線性迴歸

四預測鮑魚的年齡

五總結

深度學習筆記目錄大全（吳恩達）

機器學習實戰（十）Apriori算法進行關聯分析

ELK6.2.2 版本 (Logstash＋Elasticsearch＋Kibana+filebeat)的原理和詳細搭建

機器學習實戰（七）01-線性迴歸基礎篇之預測鮑魚年齡

深度學習Python (二) pytorch、Keras、TensorFlow之間的區別

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結

機器學習實戰（七）01-線性迴歸基礎篇之預測鮑魚年齡

一 前言

二 什麼是迴歸？

三 揭開回歸的神祕面紗

1 用線性迴歸找到最佳擬合直線

2 局部加權線性迴歸

四 預測鮑魚的年齡

五 總結

一前言

二什麼是迴歸？

三揭開回歸的神祕面紗

四預測鮑魚的年齡

五總結