寫在前面： 博主是一名軟件工程系大數據應用開發專業大二的學生，暱稱來源於《愛麗絲夢遊仙境》中的Alice和自己的暱稱。作爲一名互聯網小白，
寫博客一方面是爲了記錄自己的學習歷程，一方面是希望能夠幫助到很多和自己一樣處於起步階段的萌新。由於水平有限，博客中難免會有一些錯誤，有紕漏之處懇請各位大佬不吝賜教！個人小站:http://alices.ibilibili.xyz/ , 博客主頁:https://alice.blog.csdn.net/
儘管當前水平可能不及各位大佬，但我還是希望自己能夠做得更好，因爲一天的生活就是一生的縮影。我希望在最美的年華，做最好的自己！
之前已經給大家介紹了一個關於大數據實戰的項目——千億級數倉(感興趣的同學可以👉大數據實戰項目)。本篇博客，爲大家介紹的是一個相比於數倉，近幾年發展火熱，各位更耳熟能詳的一個項目——用戶畫像。如果之前沒聽過也沒有關係😅，相信看了本篇博客對於用戶畫像概念的一個介紹，你也一定能收穫“奇怪的知識”😂
文章目錄
本章目標:
- 瞭解用戶畫像是什麼？能做什麼？如何做？
- 理解項目平臺架構
1、用戶畫像
1.1、概念
什麼是用戶畫像？
我們對於用戶畫像的一個初始理解應該停留在字面上的解釋，大致就是描述一個用戶的特徵，細節。
那我們來看看其他學術網站對於用戶畫像的一個解釋。
- 百度百科定義
用戶畫像又稱用戶角色，作爲一種勾畫目標用戶、聯繫用戶訴求與設計方向的有效工具，用戶畫像在各領域得到了廣泛的應用。我們在實際操作的過程中往往會以最爲淺顯和貼近生活的話語將用戶的屬性、行爲與期待聯結起來。作爲實際用戶的虛擬代表，用戶畫像所形成的用戶角色並不是脫離產品和市場之外所構建出來的，形成的用戶角色需要有代表性能代表產品的主要受衆和目標羣體。
- 維基百科定義
A user profile is a visual display of personal data associated with a specific user, or a customized desktop environment 。
翻譯過來就是：用戶畫像就是與該用戶相關聯的數據的可視化的展現
一句話來總結就是：用戶信息標籤化。
- 偏技術的定義
用戶畫像可以簡單理解成是海量數據的標籤，根據用戶的目標、行爲和觀點的差異，將他們區分爲不同的類型，然後每種類型中抽取出典型特徵，賦予名字、照片、一些人口統計學要素、場景等描述，形成了一個人物原型 (personas)。
大概知道了用戶畫像的概念之後，我們可能開始思考，什麼是標籤？
什麼是標籤？
標籤就是： 對某一類特定羣體或對象的某項特徵進行的抽象分類和概括
例如：“人” 這類羣體，可將“男”、“女” 這類特徵抽象概括，統稱爲“性別”，“性別”即一個標籤。
可將“20歲”、“22歲” 這類特徵抽象概括，統稱爲“年齡”，“年齡”即一個標籤。
可將“內蒙古”、“山東” 這類特徵抽象概括，統稱爲“戶籍地”，“戶籍地”即一個標籤。
可將“足球”、“游泳” 這類特徵抽象概括，統稱爲“興趣愛好”，“興趣愛好”即一個標籤。
這裏的標籤就是“性別”，“年齡”，“戶籍地”，“興趣愛好”。 標籤也可以理解爲特徵。
標籤值就是：男，20，山東，游泳。 標籤值也可以理解爲特徵值。
例如：學生信息表
學生這個對象的屬性可以理解爲特徵。
1.2 、分類及方向
- 標籤數據來源
1）、UserPersonal
基於用戶基本信息（比如電商來說，用戶註冊時填寫的信息）構建標籤
2）、UserProfile
基於用戶業務數據（用戶產品產生的數據）構建標籤
商業標籤
行爲標籤
用戶價值
用戶畫像方向
目前的用戶畫像研究主要集中在三個方向上：用戶屬性、用戶偏好和用戶行爲三個主要方面。
1）、用戶屬性
用戶基本信息構建標籤，比如某個商城會員用戶註冊時填寫基本信息構建標籤
2）、用戶偏好
業務數據（訂單數據，瀏覽數據、購物車數據。。）
喜歡買什麼，看什麼，玩什麼，。。。
比如針對某個商城來說，主要喜歡買什麼
3）、用戶行爲
瀏覽數據
- 其一、用戶屬性的研究側重於顯式地蒐集用戶特徵信息，主要體現在社會化標註系統領域，通過社會化標註系
- 其二、用戶偏好研究側重於制定興趣度度量方法，評估用戶的興趣度，提高個性化推薦質量；
- 其三、用戶行爲的研究側重於用戶行爲趨勢的預測，如用戶流失行爲的 預測中，有利於提前發現問題，找出對應策略，防止客戶流失；在用戶的欠費預測問題中，有利於發現 電力客戶欠費特徵，爲電力公司提供決策支持。
注意：不同研究領域的用戶畫像研究方法也會有所差異，常用 的有決策樹、邏輯迴歸、支持向量機及神經網絡等模型。
用戶畫像分類（技術）
1）、匹配類
根據用戶基本信息進行匹配，完善標籤體系。例如：性別，籍貫，學歷
2）、統計類
根據用戶基本信息或行爲數據進行統計完善標籤系統。例如：年齡段，客單價，單價最高，退貨率
3）、挖掘類
根據用戶行爲數據挖掘完善標籤系統。例如：商品偏好，消費能力，品牌偏好
1.3、應用場景
用戶畫像應用領域較爲廣泛，適合於各個產品週期，從新用戶的引流到潛在用戶的挖掘、從老用戶 的培養到流失用戶的迴流等。通過挖掘用戶興趣、偏好、人口統計特徵，可以直接作用於提升營銷精準度、推薦匹配度，最終提升產品服務和企業利潤。還包括廣告投放、產品佈局和行業報告等。
1.3.1、精準營銷（廣告投放）
常見的營銷方式包括APP信息推送、短信營銷和郵件營銷等。隨着運營方式從粗放式到精細化，用 戶畫像技術能更深入和直觀的瞭解用戶，而越瞭解用戶就越能夠做出正確的決策，通過產品或服務的潛 在用戶進行分析，將用戶劃分成更細的粒度，針對特定羣體進行營銷，輔以短信、推送、郵件、活動等 手段，趨以關懷、挽回、激勵等策略。既能減少全量推送造成的資源浪費，又能達到較好的營銷轉化效果。
例如類似的廣告信息
思考如下兩個問題：
1）、大家所有人都收到這個郵件和這個短信了嗎?
2）、那爲什麼這個短信和郵件發給了某一些人, 而另一些人沒有收到呢?
短信和郵件的發送也是有成本的, 所以對於一些企業來講, 不可能會在每一次營銷中對所有人發送短信和郵件, 在不同的活動中, 可能會選取不同特徵的一類用戶, 對其進行短信或者郵件的營銷, 那麼這裏就需要對用戶進行分羣。
1.3.2、數據化運營（產品佈局）
如果大家是一個公司的運營經理, 現在需要對不夠活躍的地區舉辦一些活動, 刺激用戶的參與, 那麼應該需要這樣的一張圖：
如果大家是產品經理, 現在需要對整個產品的風格進行改版, 那我們應該需要一張圖, 來看到我們的產品在哪個年齡段最受歡迎, 要致敬這個年齡段的用戶。類似的場景還有很多, 通過數據來說話, 來找到運營的策略, 正是一種非常有必要的事情, 也是發展趨勢。
1.3.3、推薦系統
用戶畫像常用在電商、社交和新聞等應用的個性化推薦系統中。互聯網時代下的信息是過載的，用 戶量級巨大且用戶之間千差萬別。如果根據用戶的行爲習慣，購物或閱讀記錄來打造基於內容推薦系 統，實現的千人千面個性化推薦可以加深應用的用戶粘性。在電商行業中，推薦系統的價值在於挖掘用 戶潛在購買需求，縮短用戶到商品的距離，提升用戶的購物體驗。
說到推薦系統, 其實現在各種公司都在做, 我們判斷未來的所有應用應該都是個性化的,
都是千人千面的, 例如如果在京東上購買了手機殼, 那麼京東應該會推薦給我們其它樣式的
手機殼, 如果買了書, 應該推薦給我們更多同類型的書, 就例如如下.
但是問題來了：
什麼是推薦, 如果針對不同的人, 展示的結果會不同?
其實推薦就是系統通過數據, 找到用戶和用戶所感興趣的物品之間的關係, 更抽象和更準確的說, 就是找到用戶和商品之間可能的連接. 可以表示爲類似如下樣子。
可以通過大量的數據樣本, 從而使用算法找到User和Product之間的關係, 簡單來講, 這就是推薦系統的實現方式. 那麼, 有一個問題。
表示一個用戶的這些特徵如何生成呢, 如何找到一個用戶的向量表示呢?
1.3.4、場景間的共性
前面提到了幾個場景和幾個問題，現在回顧一下這些場景和問題。
1、精準營銷
需要對用戶進行分羣, 找到某個特質的用戶
2、數據化運營
需要生成用戶的圖標, 所以同樣也需要對用戶進行分羣和統計
3、推薦系統
需要找到用戶和商品之間的連接, 所以需要對用戶進行向量化表示
如果能有一個系統，把用戶特徵標註出來，如下：
那麼，對於上面的三個需求,就可以以如下方式解決：（用戶畫像在三個場景下使用）
1、精準營銷, 按照地域或者性別篩選客羣
2、數據化運營, 按照消費能力篩選客羣
3、推薦系統, 得到每一個用戶的標籤(宅男富二代)
用戶畫像即對用戶使用標籤來進行標註，例如：U_1001：(男, 北京, 宅男, 高消費能力)
用戶畫像標籤表： - 存儲到HBase表中
tbl_profile （表名稱）
標籤分爲兩類：（列簇ColumnFamily）
用戶標籤：user
商品標籤：item
表的RowKey：
用戶ID：userId或者商品ID：productId
標籤值：（列值）
實際存儲標籤標識符tagId
標籤字段：tagIds
標籤值形式：多個標籤之間使用分割隔開，比如使用逗號隔開
384,391,421,434
標籤信息表：
tagId, tagName, tagDesc
384 男 用戶的性別爲男性
385 女 用戶的性別爲女性
......
1.4、用戶標註
前面說了幾個場景， 這些場景想要實現，都藉助於對用戶的理解， 直白點說，就標註出來每個用戶的特徵，, 但是如何標註呢？
接下來讓我們來探討一下用戶標註的體系建立
1.4.1、本體論
在開始之前， 先介紹一下本體論，在介紹本體論之前看如下圖，羊這種可愛的動物大家一定是見過的。
問大家的問題是，什麼是羊?？我覺得大家可能給出的比較標準的答案也許是一種有四條腿四隻蹄、白色覆毛、兩隻短耳朵、小眼睛、性格溫順的動物。
現在把剛纔這個結論拆開：四條腿, 四隻蹄, 白色覆毛, 長耳朵, 小眼睛, 性格溫順, 動物, 這些詞並不是羊, 只是羊的符號, 我們說羊有四條腿, 有白色覆毛, 是一種動物, 那這些形容詞, 甚至羊和動物這樣的名詞, 都是真實存在的這個本體的一種符號化表示, 而本體指的就是一個真實的存在, 這種理論, 就是哲學中說的 本體論, 是亞里士多德的形而上學的基本分支.
那麼和用戶畫像有什麼關係呢，大家仔細想一想， 其實本質上：用戶畫像就是對用戶的符號化表示, 也就是說， 其實標註用戶就是把用戶當做本體來進行標註。
而本體論也逐漸的發展爲描述知識的一個學科，如果大家以後要研究知識工程和知識圖譜的話， 本體論是繞不過去的。
如何用本體論描述用戶呢, 如何用本體來表示用戶的畫像呢? 如下所示, 這是一個非常複雜的表示法.
1.4.2、打標籤
採用本體論的思路, 採用另外一種方式來存儲用戶畫像, 這種方式就是給用戶打上標籤, 例如如下的表示方式：
轉換存儲格式如下：
仔細想想看, 使用標籤來標註用戶, 其實本質上還是本體論, 只是被簡化了. 而市面上絕大多數的畫像項目都使用這種方式來存儲用戶畫像。
1）、用戶畫像的作用
–如果想爲消費能力強的用戶發送優惠券刺激消費, 那首先要知道哪些用戶有 消費能力強 這個屬性
–如果想針對使用用戶最多的設備進行特殊優化, 那首先要知道每個用戶用什麼 設備 登錄
–如果想爲每個用戶推薦不同的商品, 要知道每一個用戶的向量表示, 而標籤就是每個用戶的維度
2）、如何生成用戶的畫像
–本體論是理論基礎
–但是本體論表示太複雜, 所以使用標籤來描述畫像
任務提交流程
我們可以搭建一個用戶畫像的管理平臺,在這個平臺上,我們可以按照不同的等級去管理標籤,或者定義標籤的執行週期,以及計算任務的提交等等操作.
一個完整的任務提交流程如上圖所示,我們需要先創建出123級標籤,在創建4級標籤的時候將任務的Jar包上傳,以及指定運行參數,最後創建5級標籤,之後就可以開始運行我們的任務。
任務執行流程
我們的任務提交後的具體執行流程又是怎樣的呢?如何才能得到最終計算的標籤結果?
任務在執行的時候,我們的數據獲取有2部分，一個是MySQL中的標籤規則數據，另一個是HBase中的原始數據，通過SparkSQL對數據進行計算,將最終得到的結果標籤存入HBase。再用ES或者solr做二級索引,方便我們進行數據的查詢操作。
小結
相信看到這裏的你，可能已經懂了什麼是用戶畫像。或許你還會有一些迷惑，但都不要慌。後續我會快馬加鞭，更新關於大數據實戰【360°全方位用戶畫像】的具體階段操作，敬請期待😎
如果以上過程中出現了任何的紕漏錯誤，煩請大佬們指正😅
受益的朋友或對大數據技術感興趣的夥伴記得點贊關注支持一波🙏
