作者:黃良輝
本文講述 Flink 在 Shopee 新加坡數據組(Shopee Singapore Data Team)的應用實踐,主要內容包括:
- 實時數倉建設背景
- Flink 在實時數據數倉建設中結合 Druid、Hive 的應用場景
- 實時任務監控
- Streaming SQL 平臺化
- Streaming Job 管理
- 未來規劃優化方向
建設背景
Shopee 是東南亞與臺灣領航電商平臺,覆蓋新加坡、馬來西亞、菲律賓、臺灣、印度尼西亞、泰國及越南七大市場,同時在中國深圳、上海和香港設立跨境業務辦公室。
- Shopee在2020年第一季的總訂單量高達4.298億,同比增長111.2%。
- 根據App Annie, Shopee在 2020年第一季強勢躋身全球購物類 App下載量前三名。
- 同時斬獲東南亞及臺灣市場購物類 App 年度總下載量、平均月活數、安卓使