七種最常見的Hadoop和Spark項目,你見過幾種?

如果您的Hadoop項目將有新的突破,那麼它必定與下邊介紹的七種常見項目很相像。

有一句古老的格言是這樣說的,如果你向某人提供你的全部支持和金融支持去做一些不同的和創新的事情,他們最終卻會做別人正在做的事情。如比較火爆的Hadoop、Spark和Storm,每個人都認爲他們正在做一些與這些新的大數據技術相關的事情,但它不需要很長的時間遇到相同的模式。具體的實施可能有所不同,但根據我的經驗,它們是最常見的七種項目。

項目一:數據整合 稱之爲“企業級數據中心”或“數據湖”,這個想法是你有不同的數據源,你想對它們進行數據分析。這類項目包括從所有來源獲得數據源(實時或批處理)並且把它們存儲在hadoop中。有時,這是成爲一個“數據驅動的公司”的第一步;有時,或許你僅僅需要一份漂亮的報告。“企業級數據中心”通常由HDFS文件系統和HIVE或IMPALA中的表組成。未來,HBase和Phoenix在大數據整合方面將大展拳腳,打開一個新的局面,創建出全新的數據美麗新世界。

銷售人員喜歡說“讀模式”,但事實上,要取得成功,你必須清楚的瞭解自己的用例將是什麼(Hive模式不會看起來與你在企業數據倉庫中所做的不一樣)。真實的原因是一個數據湖比Teradata和Netezza公司有更強的水平擴展性和低得多的成本。許多人在做前端分析時使用Tabelu和Excel。許多複雜的公司以“數據科學家”用Zeppelin或IPython筆記本作爲前端。

項目二:專業分析 許多數據整合項目實際上是從你特殊的需求和某一數據集系統的分析開始的。這些往往是令人難以置信的特定領域,如在銀行領域的流動性風險/蒙特卡羅模擬分析。在過去,這種專業的分析依賴於過時的,專有的軟件包,無法擴大數據的規模經常遭受一個有限的功能集(大部分是因爲軟件廠商不可能像專業機構那樣瞭解的那麼多)。

在Hadoop和Spark的世界,看看這些系統大致相同的數據整合系統,但往往有更多的HBase,定製非SQL代碼,和更少的數據來源(如果不是唯一的)。他們越來越多地以Spark爲基礎。

項目三:Hadoop作爲一種服務 在“專業分析”項目的任何大型組織(諷刺的是,一個或兩個“數據整理”項目)他們會不可避免地開始感覺“快樂”(即,疼痛)管理幾個不同配置的Hadoop集羣,有時從不同的供應商。接下來,他們會說,“也許我們應該整合這些資源池,”而不是大部分時間讓大部分節點處於資源閒置狀態。它們應該組成雲計算,但許多公司經常會因爲安全的原因(內部政治和工作保護)不能或不會。這通常意味着很多Docker容器包。

我沒有使用它,但最近Bluedata(藍色數據國際中心)似乎有一個解決方案,這也會吸引小企業缺乏足夠的資金來部署Hadoop作爲一種服務。

項目四:流分析 很多人會把這個“流”,但流分析是不同的,從設備流。通常,流分析是一個組織在批處理中的實時版本。以反洗錢和欺詐檢測:爲什麼不在交易的基礎上,抓住它發生而不是在一個週期結束?同樣的庫存管理或其他任何。

在某些情況下,這是一種新的類型的交易系統,分析數據位的位,因爲你將它並聯到一個分析系統中。這些系統證明自己如Spark或Storm與Hbase作爲常用的數據存儲。請注意,流分析並不能取代所有形式的分析,對某些你從未考慮過的事情而言,你仍然希望分析歷史趨勢或看過去的數據。

項目五:複雜事件處理 在這裏,我們談論的是亞秒級的實時事件處理。雖然還沒有足夠快的超低延遲(皮秒或納秒)的應用,如高端的交易系統,你可以期待毫秒響應時間。例子包括對事物或事件的互聯網電信運營商處理的呼叫數據記錄的實時評價。有時,你會看到這樣的系統使用Spark和HBase——但他們一般落在他們的臉上,必須轉換成Storm,這是基於由LMAX交易所開發的干擾模式。

在過去,這樣的系統已經基於定製的消息或高性能,從貨架上,客戶端-服務器消息產品-但今天的數據量太多了。我還沒有使用它,但Apex項目看起來很有前途,聲稱要比Storm快。

項目六:ETL流 有時你想捕捉流數據並把它們存儲起來。這些項目通常與1號或2號重合,但增加了各自的範圍和特點。(有些人認爲他們是4號或5號,但他們實際上是在向磁盤傾倒和分析數據。),這些幾乎都是Kafka和Storm項目。Spark也使用,但沒有理由,因爲你不需要在內存分析。

項目七:更換或增加SAS SAS是精細,是好的但SAS也很貴,我們不需要爲你的數據科學家和分析師買存儲你就可以“玩”數據。此外,除SAS可以做或產生漂亮的圖形分析外,你還可以做一些不同的事情。這是你的“數據湖”。這裏是IPython筆記本(現在)和Zeppelin(以後)。我們用SAS存儲結果。

當我每天看到其他不同類型的Hadoop,Spark,或Storm項目,這些都是正常的。如果你使用Hadoop,你可能瞭解它們。幾年前我已經實施了這些項目中的部分案例,使用的是其它技術。

如果你是一個老前輩太害怕“大”或“做”大數據Hadoop,不要擔心。事情越變越多,但本質保持不變。你會發現很多相似之處的東西你用來部署和時髦的技術都是圍繞Hadooposphere旋轉的。

有一句話叫做三人行必有我師,其實做爲一個開發者,有一個學習的氛圍跟一個交流圈子特別重要這是一個我的大數據交流學習羣531629188不管你是小白還是大牛歡迎入駐,正在求職的也可以加入

,大家一起交流學習,話糙理不糙,互相學習,共同進步,一起加油吧。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章