618 兵臨城下,你需要一個更省錢省力的數據根基平臺!

 

大促來襲,電商企業的運營人員開始“暴風工作”,各類查詢任務同時湧入系統,導致計算資源十分緊張;

娛樂八卦預告爆料,各路喫瓜平臺紛紛整裝待發,到頭來發現只是“零星小料”,沒有海量業務需求,計算資源又處於閒置狀態……

有沒有一種“彈性”的方式,既讓計算資源儘可能地被有效利用,又能讓計算資源發揮最大的價值?當然!神策數據上線彈性計算與彈性存儲功能,讓企業無需爲了一時的高峯計算需求而加大硬件投入,省錢省力就能“躺贏”業務需求!

一、什麼是神策彈性計算與彈性存儲功能?

由於企業在分析計算資源的使用上存在明顯的週期性,集“採、治、存、查、智”爲一體的神策數據根基平臺通過彈性化資源配置,可隨着實際業務需求的變化,隨時擴大或減小計算能力,避免企業因業務需求的調整造成計算資源的浪費;而且,神策借用了傳統數據庫歸檔的概念,支持將數據倉庫中不經常使用的數據遷移至低成本存儲系統上,在降低存儲成本的同時,保證用戶擁有更好的產品使用體驗。 

1. 彈性計算:潮汐算力調度

通過構建一個公共計算池,由其動態調配計算能力。當企業需要擴容計算能力支撐其業務時,系統會向公共計算池申請額外的計算節點,與原有的節點共同組成一套新的計算集羣,以匹配高峯期計算作業。高峯過後,額外的計算節點會被公共計算池回收,從而達到節省算力資源成本的目的。

技術原理如下:

首先,直接利用 k8s 管理計算池的彈性資源,在 k8s 中每個 executor 節點由 svc-executor 與 pod-executor 組成。

其中 pod-executor 通過 svc-executor 來對外暴露端口,原集羣的 statestored,catalogd 和 coordinator 通過 svc-executor 暴露的端口與 pod-executor 通信。

k8s 中的 pod-executor 通過 coredns 配置的原集羣 hosts 來與 statestored,catalogd,coordinator 通信,從而實現計算節點的動態調配。

神策彈性計算技術原理圖

 

2. 彈性存儲:“冷數據”歸檔,仍可被分析

對於一些不經常使用的數據,其數據訪問頻次會不斷的減少,甚至只在偶爾盤點時的歷史對比分析中用到,這類數據被稱爲“冷數據”。但隨着企業進行數據分析的時間越來越長,對於集羣存儲資源的需求和壓力會越來越大。神策支持將“冷數據”歸檔(轉儲)到成本更低廉的存儲系統中,從而極大地節省企業的存儲成本。

值得注意的是,當“冷數據”歸檔後,神策仍支持歸檔數據的可讀、可刪除、可分析。歸檔後的數據所在的存儲是整體系統存儲的一部分,無需對歸檔數據進行解檔也能正常查詢。而業內現狀下,歸檔後的數據大多不可再參與查詢,這是神策彈性存儲功能與傳統數據庫歸檔最重要的區別。  

二、爲大促活動保駕護航,讓神策“兩朵雲”火力全開

神策“兩朵雲”指神策分析雲、神策營銷雲,在大促之際,某電商運營團隊通過神策分析雲、神策營銷雲“火力全開”,助力大促完美啓航,同時背靠神策彈性計算與彈性存儲功能,通過三步法,爲大促活動保駕護航。

第一步:大促前,歸檔冷數據

爲了更好迎接大促,該電商運營團隊提前就對相關數據進行歸檔,在不影響查詢的情況下,將不經常使用的“冷數據”轉存至成本更低的存儲系統中。由於這部分“冷數據”依然可以在神策各大系統中進行分析操作,該電商運營團隊也更加“大膽”地將不經常使用的數據轉化成“冷數據”,爲後續海量業務需求產生的分析數據“騰地方”,降低數據的存儲成本。

第二步:大促中,調整計算能力

由於該電商運營團隊日常就通過神策營銷雲對百萬用戶的全生命週期進行策略運營,在近期更是不斷針對各用戶羣體發放活動優惠券,所以從預售開始,蜂擁而來的用戶流量就帶來海量用戶行爲數據和分析需求。從此時開始,該電商運營團隊全體成員就進入“高速運轉”狀態,他們一邊通過神策分析雲實時洞察用戶各類狀態,一邊通過神策營銷雲做貼合用戶畫像的策略與動作,並將整個流程灌入神策推出的基於數據流的企業運營框架 SDAF 中,通過感知(Sense)、決策(Decision)、行動(Action)、反饋(Feedback)四個流程,打造運營閉環,提高用戶在大促中的完美體驗。  

針對從預售開始時鋪面而來的業務需求,在現有計算資源的條件下,神策利用公共計算池動態調整計算能力,充分保證大促時期的數據分析效率,爲該電商運營團隊的營銷觸達提供核心支撐。

第三步:大促尾聲,避免浪費

在緊張又刺激的活動尾聲,該電商運營團隊的成員逐漸從激烈的工作狀態中迴歸日常,成員們將更多的精力放在大促覆盤,以及通過神策分析雲中的各大功能組件洞察用戶需求,並通過神策營銷雲進行下階段的策略運營中,由於計算和分析需求陸續變少,神策彈性計算功能將會使系統自動回收部分計算能力,避免流量下降導致的計算資源浪費。

  

以上爲神策彈性計算與彈性存儲功能簡介,雖然各行業的具體業務場景不同,但神策彈性計算與彈性存儲功能可以在多種業務邏輯下發揮着其強大的技術能力,在節省企業硬件成本的同時,合理配置優化企業計算資源,併爲“冷數據”提供相關的分析能力,降低企業的運營成本,更好助力企業業務目標的實現。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章