推薦系統的相關知識我們已在前文中提到，在這篇文章中，我們會介紹如何用Python來搭建一個簡單的推薦系統。
本文使用的數據集是MovieLens數據集，該數據集由明尼蘇達大學的Grouplens研究小組整理。它包含1,10和2億個評級。 Movielens還有一個網站，我們可以註冊，撰寫評論並獲得電影推薦。接下來我們就開始實戰演練。
在這篇文章中，我們會使用Movielens構建一個基於item的簡易的推薦系統。在開始前，第一件事就是導入pandas和numPy。
import pandas as pd import numpy as np import warnings warnings.filterwarnings('ignore')接下來，我們使用pandas read_csv（）加載數據集。數據集由製表符分隔，所以我們將 t傳遞給sep參數。然後，使用names參數傳入列名。
df = pd.read_csv('u.data', sep='\t', names=['user_id','item_id','rating','titmestamp'])接下來查看錶頭，檢查一下正在處理的數據。
df.head()如果我們能夠看到電影的標題而不僅僅是ID，那再好不過了。之後加載電影標題並把它與此數據集合並。
movie_titles = pd.read_csv('Movie_Titles') movie_titles.head()由於item_id列相同，我們可以在此列上合併這些數據集。
df = pd.merge(df, movie_titles, on='item_id') df.head()數據集中的每一列分部代表：
•user_id - 評級電影的用戶的ID。
•item_id- 電影的ID。
•rating - 用戶爲電影提供的評級，介於1和5之間。
•timestamp - 電影評級的時間。
•title - 電影標題。
使用describe或info命令，就可以獲得數據集的簡要描述。如果想要真正瞭解正在使用的數據集的話，這一點非常重要。
df.describe（）
可以看出，數據集共有100003條記錄，電影的平均評分介於3.52-5之間。
現在我們再創建一個dataframe，其中包含每部電影的平均評分和評分數量。之後，這些評分將用來計算電影之間的相關性。相關性是一種統計指標，表示兩個或多個變量一起波動的程度。相關係數越高，電影越爲相似。
以下例子將使用Pearson相關係數 （Pearson correlation coefficient），該數字介於-1和1之間，1表示正線性相關，-1表示負相關， 0表示沒有線性相關。也就是說，具有零相關性的電影完全不相似。
我們會使用pandas groupby 功能來創建dataframe。按照標題對數據集進行分組，並計算其平均值獲得每部電影的平均評分。
ratings = pd.DataFrame（df.groupby（'title'）['rating'].mean（）） ratings.head（）接下來我們創建number_of_ratings列，這樣就能看到每部電影的評分數量。完成這步操作後，就可以看到電影的平均評分與電影獲得的評分數量之間的關係。五星級電影很有可能只被一個人評價，而這種五星電影在統計上是不正確的。
因此，在構建推薦系統時，我們需要設置閾值。我們可以使用pandas groupby功能來創建新列，然後按標題欄分組，使用計數函數計算每部電影的評分。之後，便可以使用head（）函數查看新的dataframe。
rating ['number_of_ratings'] = df.groupby（'title'）['rating'].count（） ratings.head（）接下來我們使用pandas繪製功能來繪製直方圖，顯示評級的分佈：
import matplotlib.pyplot as plt %matplotlib inline ratings['rating'].hist(bins=50)可以看到，大多數電影的評分都在2.5-4之間。通過類似的方法還可以將number_of_ratings列可視化。
ratings['number_of_ratings'].hist(bins=60)從上面的直方圖中可以清楚地看出，多數電影的評分都很低，評分最高的電影是一些非常有名的電影。
現在讓我們再來看一下電影評級與評分數量之間的關係。我們可以使用seaborn繪製散點圖，然後使用jointplot（）函數執行此操作。
import seaborn as sns sns.jointplot(x='rating', y='number_of_ratings', data=ratings)從圖中我們可以看出，電影平均評分與評分數量之間呈正相關關係，電影獲得的評分數量越多，其平均評分越高。
創建基於item的簡易推薦系統
接下來我們會快速創建一個基於item的簡單的推薦系統。
首先，我們需要將數據集轉換爲矩陣，電影標題爲列，user_id爲索引，評級爲值。完成這一步，我們將得到一個dataframe，其中列是電影標題，行是用戶ID。每列代表所有用戶對電影的所有評級。評級爲NAN表示用戶未對這部電影評分。
我們可以用該矩陣來計算單個電影的評級與矩陣中其餘電影的相關性，該矩陣可以通過pandas pivot_table實現。
movie_matrix = df.pivot_table（index ='user_id'，columns ='title'，values ='rating'） movie_matrix.head（）接下來讓我們找到評分數量最多的電影，並選擇其中的兩部電影。然後使用pandas sort_values並將升序設置爲false，以便顯示評分最多的電影。然後使用head（）函數來查看評分數目最多的前十部電影。
ratings.sort_values('number_of_ratings', ascending=False).head(10)假設一個用戶曾看過Air Force One（1997）和Contact（1997），我們想根據這兩條觀看記錄向該用戶推薦其他類似的電影，那麼這一點可以通過計算這兩部電影的評級與數據集中其他電影的評級之間的相關性來實現。第一步是創建一個dataframe，其中包含來自movie_matrix的這些電影的評級。
AFO_user_rating = movie_matrix['Air Force One (1997)'] contact_user_rating = movie_matrix['Contact (1997)']
Dataframe可以顯示user_id和這兩部電影的評分。
AFO_user_rating.head（） contact_user_rating.head（）使用pandas corwith功能計算兩個dataframe之間的相關性。有了這一步，就能夠獲得每部電影的評級與Air Force One電影的評級之間的相關性。
similar_to_air_force_one = movie_matrix.corrwith（AFO_user_rating）可以看到，Air Force One電影和Till There Was You（1997）之間的相關性是0.867。這表明這兩部電影之間有很強的相似性。
similar_to_air_force_one.head（）還可以計算Contact（1997）的評級與其他電影評級之間的相關性，步驟同上：
similar_to_contact = movie_matrix.corrwith（contact_user_rating）可以從中發現，Contact（1997）和Till There Was You（1997）之間存在非常強的相關性（0.904）。
similar_to_contact.head（）前邊已經提到，並非所有用戶都對所有電影進行了評分，因此，該矩陣中有很多缺失值。爲了讓結果看起來更有吸引力，刪除這些空值並將相關結果轉換爲dataframe。
corr_contact = pd.DataFrame(similar_to_contact, columns=['Correlation']) corr_contact.dropna(inplace=True) corr_contact.head()corr_AFO = pd.DataFrame(similar_to_air_force_one, columns=['correlation']) corr_AFO.dropna(inplace=True) corr_AFO.head()
上面這兩個dataframe分別展示了與Contact（1997）和Air Force One（1997）電影最相似的電影。然而，問題出現了，有些電影的實際質量非常低，但可能因爲一兩位用戶給他們5星評級而被推薦。
這個問題可以通過設置評級數量的閾值來解決。從早期的直方圖中看到，評級數量從100開始急劇下降。因此可以將此設置爲閾值，但是也可以考慮其他合適的值。爲此，我們需要將兩個dataframe與rating datframe中的number_of_ratings列一起加入。
corr_AFO = corr_AFO.join(ratings['number_of_ratings']) corr_contact = corr_contact.join(ratings['number_of_ratings'])corr_AFO.head()corr_contact.head()現在，我們就能得到與Air Force One（1997）最相似的電影，並把這些電影限制在至少有100條評論的電影中，然後可以按相關列對它們進行排序並查看前10個。
corr_AFO [corr_AFO ['number_of_ratings']> 100] .sort_values（by ='correlation'，ascending = False）.head（10）我們注意到Air Force One（1997）與自身相關性最高，這並不奇怪。下一部與Air Force One（1997）最相似的電影是Hunt for Red October，相關係數爲0.554。
顯然，通過更改評論數量的閾值，我們可以按之前的方式得到不同的結果。限制評級數量可以讓我們獲得更好的結果。
現在重複上邊的步驟，可以看到與Contact（1997）電影最相關的電影：
corr_contact [corr_contact ['number_of_ratings']> 100] .sort_values（by ='Correlation'，ascending = False）.head（10）與Contact（1997）最相似的電影是Philadelphia（1993），相關係數爲0.446，有137個評級。所以，如果有人喜歡Contact（1997），我們可以向他們推薦上述電影。
以上是構建推薦系統的一種非常簡單的方法，但並不符合行業標準。後續的話我們可以通過構建基於存儲器的協同過濾系統來改進該系統。在這種情況下，將數據劃分爲訓練集和測試集，使用諸如餘弦相似性來計算電影之間的相似性；或者構建基於模型的協作過濾系統，然後使用Root Mean Squared Error（RMSE）等技術評估模型。
Github: mwitiderrick/simple-recommender-
文章來源：How to build a Simple Recommender System in Python
（以上內容由第四範式先薦整理髮布）