離線計算、流式計算、實時計算概念區分

時間維度:

離線計算:這個大家都能理解,對累積的數據進行計算分析,計算對象往往是大批量靜態數據。例如對累積的幾百G甚至上T的日誌進行計算,得出所關心維度的結果。特點是,一般數據累積時間較長,需要大量的存儲空間,計算量級較大,計算時間也較長。

流式計算:流式計算更多的強調某個時間段內,對這段時間範圍內的數據進行計算,比如一天的營業額,一天的下單量,或者是按小時維度來統計大盤波動。流式計算出結果期望比離線計算要快。

實時計算:與離線計算相比,運行時間短,往往是秒、分鐘級別,計算量級相對較小,強調時效,更多的用戶秒殺、大促之類的場景。強調計算過程的時間要短,即所查當下給出結果。

 

空間維度:

離線計算:往往要求大量數據,需要大量甚至是海量存儲空間,分佈式存儲等,空間成本比較高,以磁盤或SSD爲存儲介質。

流式計算:一般情況下數據量不會很大,也要看時間維度,如果是小時級別,存儲空間更多的是M、G爲到位,以內存或SSD爲主要存儲介質。

實時計算:一般情況下數據量很小,強調快速反應,一般是在內存中完成,所計算的數據往往是K、M爲單位的數據。

 

使用場景:

離線計算:用於大一點的決策分析,宏觀統計,趨勢分析,走向判斷等。多用於宏觀層面。

流式計算:更多的用於商業決策,中短期的決策依據,如持續18天的618等大促活動效果分析,每天的報表統計。

實時計算:更多的用於以天爲單位的大促,搶購,甚至秒殺等活動,要求及時看到結果數據,並快速挑戰打法

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章