企業可以不要大數據,但必須要有“數據中臺”

企業可以不要大數據,但必須要有“數據中臺”
139w.com 鼎點網絡
2015年,馬雲拜訪名爲Supercell的芬蘭遊戲公司,雖然這家公司僅有180人,但是他們開發新遊戲的速度特別快,公司旗下游戲DAU已經突破1億。2016年,騰訊以86億美元收購了其84%的股權,這不僅是騰訊歷史上,也是近年全球手機遊戲行業最大金額的併購。這家“小公司”爲什麼這麼牛逼?因爲他們把遊戲需要的通用數據、素材都放在一起供大家使用,實現了業務互通,大大提高了每個團隊的效率。不久之後,阿里就成立了數據中臺的團隊,隨後國內的公司也都紛紛效仿,開始架構屬於自己的數據中臺。

什麼是數據中臺:

基於那次拜訪產生的靈感,阿里提出了“大中臺,小前臺”的概念,即將業務數據化,數據業務化,真正實現數據和業務進行打通。阿里數據技術和產品部門的負責人曾說過:“很多人會把數據比作石油,馬雲也說過,阿里巴巴要成爲全球電子商務的水電煤。我們現在搭建的數據中臺,就是希望扮演發電廠的角色。”

數據中臺絕對不等於數據平臺,差別之一就在於是否具有業務屬性,這也是數據中臺出現的一個非常重要的原因,它可以支撐多個前臺業務,使得數據不再是各前端業務獨立管理,真正實現不同業務之間的互通互融。

我就曾經參加過的一個項目給大家講講數據中臺包含那些東西。

1.數據採集

爲數據中臺提供彙集數據的能力,應提供統一的數據獲取接入方式,數據來源包括內部數據和外部數據,數據類型應支持結構化和非結構化數據採集。傳統的ETL工具仍然可以複用,實現數據採集、轉換、加載等關鍵處理過程。

2.數據計算

爲數據中臺提供統一的大數據計算能力,針對不同大數據處理場景,所需提供的數據計算能力也不同,一般主要包括批量離線計算、內存計算、在線流式計算等,可用到的技術有數據挖掘,大數據分析,雲計算等。

3.數據存儲

數據中臺中全域數據的存儲中心,按照不同的數據類型,可以採用圖中一種或多種數據存儲系統的“混搭”架構。傳統數據倉庫(如DB2/ORACLE)是最爲穩定的數據存儲方式,承載着及時性、準確性要求高的企業核心應用。分佈式關係數據庫,也常簡稱爲MPP數據庫,相較於傳統的關係型數據庫,具有高性能處理能力、高數據吞吐能力的優勢。

NoSQL分佈式數據庫屬於非關係型數據庫管理系統,在大數據簡單存取上具備關係型數據庫無法比擬的性能優勢。分佈式文件系統(HDFS)是當前最常見的大數據存儲方式,它具極高的性價比,擴展性強。數據湖作爲一種新的存儲大量複雜格式數據,避免企業數據孤島化的數據架構方案,可用來將不同結構的數據統一聚合和存儲。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章