前端埋碼
背景
一個軟件發展到一定程度時，需要有運營，運營需要獲取用戶的頁面留存和點擊次數等等數據，這些數據就需要埋點調用SDK或者相應的接口來入庫或者日誌寫硬盤來存儲。埋點請求一般是異步的，纔不會影響到主流程。總的來說有幾個原因：
- 用戶行爲分析
- 用戶畫像生成
- PV/UV 運營數據實時刷新
- 運維數據
技術方案
- 全埋碼
- 手動埋碼 手動調用接口，一般需要提煉成SDK或方法，並且制定統一的上報接口和策略
- 可視化埋碼 通過web端工具，錄製埋碼的動作，進行上報
數據落盤
一般埋點的日誌數據都直接存到數據庫中，經過清理後存到大數據的對應的Hbase中。
流程
前端調用接口 -> nginx -> web應用 -> Flume -> kafka -> Flume
技術方案
實時計算
flink 或者 Storm 實時計算 PV(Page view 頁面點擊量)和UV(Unique Visitor, 獨立訪客)
指定化報表計算
存入Hadoop，跑mapReduce 最後存入Hbase中。
from 《尚硅谷 大數據分析數據倉庫項目實戰》