你想快速成爲大數據工程師?

學習大數據沒有零基礎入門,首先你要成爲一名工程師

在技術論壇中或知乎上,看到近幾萬的冤家都在疑惑,學習Java應該選擇什麼展開方向,這個我們在之前的文章中有提到過,Java展開在範圍上有三個選擇方向:

分享之前我還是要舉薦下我自己創建的大數據學習資料分享羣710219868備註風火

這是全國最大的大數據學習交流的地方,2000人聚集,不管你是小白還是大牛,

小編我都挺歡迎,今天的已經資訊上傳到羣文件,不活期分享乾貨,

JavaEE,主要運用於企業級運用開發;安卓開發方向;嵌入式運用開發方向。在此建議大家選擇JavaEE方向,由於運用非常普遍,崗位設置也比較多。

Java的職業展開規劃之路我們也曾在(一文闡述Java從初級到初級的學習之路——

)詳細羅列,這裏就不逐一羅列了。

你想快速成爲大數據工程師?

但我們歷來沒有討論過學習Java,難道這輩子就只能做Java後端開發嗎?只能在這條路上妥協終究嗎?難道中途沒有其他的選擇嗎?

偶然看法的一個冤家,最末尾是從事Java後端開發的,後來他在專業時間自學成功轉入大數據行業,如今是一名大數據工程師,待遇也比之前好更多。前提是他是一名Java後端開發。

大數據是我們如今比較火的一個展開方向,但是很多培訓機構有提到幾個月速成的,小編覺得不是特別靠譜。

緣由有以下:

  1. 大數據是一個重生行業,還不太成熟。

  2. Java展開了將近20年,也沒有說幾個月速成的,最多也就是帶你入門,讓你對Java的知識結構體系有一個明晰的認知,在後期的義務實際時期生長的速度更快。

  3. 大數據的起點要高,並不是所謂的零基礎就可以入門的。

你想快速成爲大數據工程師?

我們接上去講述的有關大數據的學習是有條件限制的,首先你需求是一名普通的工程師,假設你是Java工程師的話更好,但假設你是小白的話,那就只能成爲一名工程師的後再來學習大數據吧。

一、看法大數據

大數據本質其實也是數據,不過也包括了些新的特徵,

  • 數據來源廣;

  • 數據格式多樣化(結構化數據、非結構化數據、Excel文件等);

  • 數據量大(最少也是TB級別的、甚至可以是PB級別);

  • 數據增長速度快。

而針對以上新的特徵需求思索很多成果:

例如,數據來源廣,該如何採集彙總?採集彙總之後,又該存儲呢?數據存儲之後,該如何經過運算轉化本錢人想要的結果呢?

關於這些成果,我們需求有相對應的知識處置。

二、大數據所需技藝要求

Python言語:編寫一些腳本時會用到。

Scala言語:編寫Spark順序的最佳言語,當然也可以選擇用Python。

Ozzie,azkaban:定時義務調度的工具。

Hue,Zepplin:圖形化義務執行管理,結果反省工具。

Allluxio,Kylin等:經過對存儲的數據中止預處置,加快運算速度的工具。

你想快速成爲大數據工程師?

必需掌握的技藝:

Java初級(虛擬機、併發)、Linux 基本操作、Hadoop(HDFS+MapReduce+Yarn )、 HBase(JavaAPI操作+Phoenix )、Hive(Hql基本操作和原理理解)、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、輔佐小工具(Sqoop/Flume/Oozie/Hue等)

高階技藝6條:

機器學習算法以及mahout庫加MLlib、 R言語、Lambda 架構、Kappa架構、Kylin、Alluxio

三、學習規劃

每天需求有3個小時的學習時間,週末的時分需求10小時,假設做不到的話,只能是

第一階段(基礎階段)

  1. Linux學習

    Linux操作系統引見與安裝、Linux常用命令、Linux常用軟件安裝、Linux網絡、 防火牆、Shell編程等。

  2. Java 初級學習(《深化理解Java虛擬機》、《Java高併發實戰》)

    掌握多線程、掌握併發包下的隊列、掌握JVM技術、掌握反射和靜態代理、瞭解JMS。

  3. Zookeeper學習

    Zookeeper分佈式協調效力引見、Zookeeper集羣的安裝部署、Zookeeper數據結構、命令。

第二階段(攻堅階段)

Hadoop、Hive、HBase、Scala、Spark、Python

第三階段(輔佐工具工學習階段)

Sqoop、Flume、Oozie、Hue這些工具的學習主要在CSDN,51CTO以及官網都可以學習。

四、學習資源舉薦

  1. Apache 官網(//apache.org/)

  2. Stackoverflow(https://stackoverflow.com/)

  3. Github(https://github.com/)

  4. About 雲 ://www.aboutyun.com/

  5. CSDN(//www.csdn.net/)

  6. 51CTO (//www.51cto.com/)

你想快速成爲大數據工程師?

總結

在技術行業裏面,每天都會有新的東西出現,需求關注最新技術靜態,不時學習。任何普通技術都是先學習實踐,然後在實際中不時完善實踐的進程。

  • 假設你覺得自己看書效率太慢,你可以網上搜集一些課程。

  • 快速學習的才幹、處置成果的才幹、溝通才幹在這個行業是真的非常重要的目的。

  • 要擅長運用StackOverFlow和Google來幫助你學習進程遇到的成果。

以上是我們對大數據學習的總結,當然我們也提到了,並不是說零基礎的就可以直接學習,需求有編程的基礎,要先掌握紮實的編程基礎,在此建議學習Java,成爲一名工程師的時分,有一定編程閱歷,自學起來也相對比末尾要複雜一點,然後對大數據有興味或許想要進入這個行業的就可以去學習了

發佈了31 篇原創文章 · 獲贊 21 · 訪問量 6萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章