大數據工程師是做什麼的?需要具備什麼能力?

如何成爲大數據工程師640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1

640?wx_fmt=gif&tp=webp&wxfrom=5&wx_lazy=1

  由於目前大數據人才匱乏,由於18年是各個大學第一年開設大數據專業,所以暫時也沒有相關專業的大數據專業人才投入到社會中。對於公司來說,很難招聘到合適的人才。

  阿里巴巴曾經舉辦了一個大數據競賽,通過這個競賽來激勵內部員工,同時也發現外部人才,讓各行業的大數據工程師涌現出來。各個領域的達人只要學會運用數據,也可以成爲大數據工程師。

  如果曾經沒有大數據相關經驗而又想加入大數據這個高薪的行業那麼很多的人就會選擇通過培訓來進行系統的學習,從而真正的進入到大數據這個高薪的行業。但是當今社會培訓機構種類繁多,培訓的內容也有諸多不同,大家務必要擦亮眼睛認真選擇,避免選錯導致人財兩失。


640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1薪酬待遇640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1640?wx_fmt=gif&tp=webp&wxfrom=5&wx_lazy=1作爲IT類職業中的“大熊貓”,大數據工程師的收入待遇可以說達到了同類的頂級。根據觀察,國內IT、通訊、行業招聘中,有10%都是和大數據相關的,且比例還在上升。“大數據時代的到來很突然,在國內發展勢頭激進,而人才卻非常有限,現在完全是供不應求的狀況。”在美國,大數據工程師平均每年薪酬高達17.5萬美元,而據瞭解,在國內頂尖互聯網類公司,同一個級別大數據工程師的薪酬可能要比其他職位高20%至30%,且頗受企業重視。



640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1


640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1職業發展路徑640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1互聯網科技發展蓬勃興起,人工智能時代來臨,抓住下一個風口。爲幫助那些往想互聯網方向轉行想學習,卻因爲時間不夠,資源不足而放棄的人。我自己整理的一份最新的大數據進階資料和高級開發教程,大數據學習羣: 957205962就可以找到組織學習 歡迎進階中和進想深入大數據的小夥伴加入640?wx_fmt=gif&tp=webp&wxfrom=5&wx_lazy=1由於大數據人才數量較少,因此大多數公司的數據部門一般都是扁平化的層級模式,大致分爲數據分析師、資深研究員、部門總監3個級別。大公司可能按照應用領域的維度來劃分不同團隊,而在小公司則需要身兼數職。有些特別強調大數據戰略的互聯網公司則會另設最高職位—如阿里巴巴的首席數據官。“這個職位的大部分人會往研究方向發展,成爲重要數據戰略人才。”另一方面,大數據工程師對商業和產品的理解,並不亞於業務部門員工,因此也可轉向產品部或市場部,乃至上升爲公司的高級管理層。



640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1


640?wx_fmt=gif&tp=webp&wxfrom=5&wx_lazy=1在一個成熟的數據驅動型公司,“大數據工程師”往往是一個團隊,它意味着從數據的收集、整理展現、分析和商業洞察、以至於市場轉化的全過程。這個團隊中可能包括數據工程師、分析師、產品專員、市場專員和商業決策者等角色,共同完成從原始數據到商業價值的轉換—概括來講,這是一個支持企業做出商業決策、發掘商業模式的重要羣體。


一個優秀的大數據工程師要具備一定的邏輯分析能力,並能迅速定位某個商業問題的關鍵屬性和決定因素。“他得知道什麼是相關的,哪個是重要的,使用什麼樣的數據是最有價值的,如何快速找到每個業務最核心的需求。”聯合國百度大數據聯合實驗室數據科學家沈志勇說。學習能力能幫助大數據工程師快速適應不同的項目,並在短時間內成爲這個領域的數據專家;溝通能力則能讓他們的工作開展地更順利,因爲大數據工程師的工作主要分爲兩種方式:由市場部驅動和由數據分析部門驅動,前者需要常常向產品經理了解開發需求,後者則需要找運營部瞭解數據模型實際轉化的情況。



你可以將以上這些要求看做是成爲大數據工程師的努力方向,因爲根據萬寶瑞華管理合夥人的觀察,這是一個很大的人才缺口。目前國內的大數據應用多集中在互聯網領域,有超過56%的企業在籌備發展大數據研究,“未來5年,94%的公司都會需要數據工程師”




640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1大數據工程師做什麼?640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1


640?wx_fmt=gif&tp=webp&wxfrom=5&wx_lazy=1用阿里巴巴集團研究員薛貴榮的話來說,大數據工程師就是一羣“玩數據”的人,玩出數據的商業價值,讓數據變成生產力。大數據和傳統數據的最大區別在於,它是在線的、實時的,規模海量且形式不規整,無章法可循,因此“會玩”這些數據的人就很重要。



640?wx_fmt=gif&tp=webp&wxfrom=5&wx_lazy=1如果把大數據想象成一座不停累積的礦山,那麼大數據工程師的工作就是,“第一步,定位並抽取信息所在的數據集,相當於探礦和採礦。第二步,把它變成直接可以做判斷的信息,相當於冶煉。最後是應用,把數據可視化等。”



640?wx_fmt=gif&tp=webp&wxfrom=5&wx_lazy=1因此分析歷史、預測未來、優化選擇,這是大數據工程師在“玩數據”時最重要的三大任務。通過這三個工作方向,他們幫助企業做出更好的商業決策。



640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1找出過去事件的特徵640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1640?wx_fmt=gif&tp=webp&wxfrom=5&wx_lazy=1大數據工程師一個很重要的工作,就是通過分析數據來找出過去事件的特徵。比如,騰訊的數據團隊正在搭建一個數據倉庫,把公司所有網絡平臺上數量龐大、不規整的數據信息進行梳理,總結出可供查詢的特徵,來支持公司各類業務對數據的需求,包括廣告投放、遊戲開發、社交網絡等。



640?wx_fmt=gif&tp=webp&wxfrom=5&wx_lazy=1找出過去事件的特徵,最大的作用是可以幫助企業更好地認識消費者。通過分析用戶以往的行爲軌跡,就能夠了解這個人,並預測他的行爲。“你可以知道他是什麼樣的人、他的年紀、興趣愛好,是不是互聯網付費用戶、喜歡玩什麼類型的遊戲,平常喜歡在網上做什麼事情。”騰訊雲計算有限公司北京研發中心總經理鄭立峯對《第一財經週刊》說。下一步到了業務層面,就可以針對各類人羣推薦相關服務,比如手遊,或是基於不同特徵和需求衍生出新的業務模式,比如微信的電影票業務。




640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1預測未來可能發生的事情640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1640?wx_fmt=gif&tp=webp&wxfrom=5&wx_lazy=1

通過引入關鍵因素,大數據工程師可以預測未來的消費趨勢。在阿里媽媽的營銷平臺上,工程師正試圖通過引入氣象數據來幫助淘寶賣家做生意。“比如今年夏天不熱,很可能某些產品就沒有去年暢銷,除了空調、電扇,背心、游泳衣等都可能會受其影響。那麼我們就會建立氣象數據和銷售數據之間的關係,找到與之相關的品類,提前警示賣家週轉庫存。”

在百度,支持“百度預測”部分產品的模型研發,試圖用大數據爲更廣泛的人羣服務。已經上線的包括世界盃預測、高考預測、景點預測等。以百度景點預測爲例,大數據工程師需要收集所有可能影響一段時間內景點人流量的關鍵因素進行預測,併爲全國各個景點未來的擁擠度分級—在接下來的若干天時間裏,它究竟是暢通、擁擠,還是一般擁擠?



640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1找出最優化的結果640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1640?wx_fmt=gif&tp=webp&wxfrom=5&wx_lazy=1

  根據不同企業的業務性質,大數據工程師可以通過數據分析來達到不同的目的。

以騰訊來說,鄭立峯認爲能反映大數據工程師工作的最簡單  直接的例子就是選項測試(AB Test),即幫助產品經理在A、B兩個備選方案中做出選擇。在過去,決策者只能依據經驗進行判斷,但如今大數據工程師可以通過大範圍地實時測試—比如,在社交網絡產品的例子中,讓一半用戶看到A界面,另一半使用B界面,觀察統計一段時間內的點擊率和轉化率,以此幫助市場部做出最終選擇。

  作爲電商的阿里巴巴,則希望通過大數據鎖定精準的人羣,幫助賣家做更好的營銷。“我們更期待的是你能找到這樣一批人,比起現有的用戶,這些人對產品更感興趣。”一個淘寶的實例是,某人蔘賣家原來推廣的目標人羣是產婦,但工程師通過挖掘數據之間的關聯性後發現,針對孕婦羣體投放的營銷轉化率更高。


640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1




640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1需要具備的能力640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1


邏輯思維能力強

計算機編碼能力

特定應用領域或行業的知識

                  



大數據技術學習主要是分三部分

、編程基礎

、大數據技術


三、實訓項目(真實的大數據項目)


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章