看了這個線路圖,估計沒有入門的同學不明白不是學大數據嗎?怎麼還要學Java呢?
大數據就是一個行業,實現同一個需求同樣有多種工具可以選擇,狹義一點以技術的角度講,各類框架有Hadoop,spark,storm,flink等,就這類技術生態圈來講,還有各種中間件如flume,kafka,sqoop等等 ,這些框架以及工具大多數是用Java編寫而成,但提供諸如Java,scala,Python,R等各種語言API供編程。
所以,Java之於大數據,就是一種工具罷了。
大數據框架的編寫支持很多開發語言,但是Java在大數據開發方面有很大的優勢,目前流行的大數據Hadoop框架、map-reduce框架,很多部分都是用開源的Java語言編寫,因此Java在大數據方面有很大優勢!
說完了整體,再來說說每個階段的學習: 。
第一階段:Java語言編程基礎
能力養成:
能夠掌握DOS系統常用基本命令; 熟練使用eclipse編寫java代碼; 熟練使用java語言的常用對象; 使用java編寫單機應用程序;
掌握面向對象編程思想,爲以後深入學習JavaEE就業課程打下堅實的基礎。
具備能力及市場價值:
能夠完成B/S結構網站開發,具備了真實環境的項目部署能力,能夠完成中小型企業管理系統等傳統項目 的開發。
第二階段 :JavaWeb核心技術
核心能力培養:
運用常用的網頁開發技術設計網頁; 掌握WEB系統交互原理;
掌握JavaWeb開發核心技術;
運用JavaWeb核心技術完成簡單功能實現;
掌握JavaWeb高級技術,創建更好的Web應用程序; 具備B/S結構軟件開發能力。
具備能力及市場價值:
能夠完成B/S結構網站開發,具備了真實環境的項目部署能力,能夠完成中小型企業管理系統等傳統項目的開發。
第三階段:網站開發三大框架
核心能力培養:
掌握SSM框架,使用SSH框架開發出結構清晰、可複用性好、維護方便的Web應用程序; 掌握如何使用Maven管理項目工程;
掌握數據庫的相關技術;
掌握系統開發中的性能、可擴展性及維護性的提升;
通過項目實戰熟練掌握SSM框架的使用。
具備能力及市場價值:
能夠使用SSH框架完成傳統企業級項目開發,熟悉多種業務流程,豐富項目開發經驗。
第四階段:互聯網搜索及爬蟲
核心能力培養:
掌握網絡爬蟲開發技術、能夠獲取互聯網數據;掌握中文分詞,並能夠進行詞庫維護及管理;
瞭解圖片識別及驗證碼識別技術;
掌握搜索技術,能夠快速搭建企業級高性能搜索系統理解分佈式核心思想的分片及副本機制。
具備能力及市場價值:
能夠利用技術手段獲取互聯網的數據能夠構建企業級搜索系統。
第五階段: 分佈式電商系統
核心能力培養:
電商網站核心業務開發:商家管理、商品管理、庫存管理、購物車、訂單、支付、物流等 高性能網站技術:靜態化技術、緩存技術、分庫分表技術、服務化治理技術;
使用分佈式服務化治理框架Dubbox開發微服務系統
使用靜態化技術、緩存技術、分庫分表技術提高系統性能。
具備能力及市場價值:
能夠獨立完成中小型網站整體架構,承載百萬級併發訪問能夠獨立完成電商網站核心業務系統開發。
第六階段: 大數據離線計算
核心能力培養:
掌握離線數據收集、數據存儲、數據計算、任務調度、數據導入導出、數據報表開發技術 掌握用戶日誌分析系統(業務分析、編碼實現、調度配置、數據導出、數據可視化);
掌握數據倉庫管理、元數據管理、數據稽查等常見處理技術掌握Hadoop高可用配置及管理。
具備能力及市場價值:
能夠勝任離線相關工作,包括ETL工程師、任務調度工程師、Hive工程師、數據倉庫工程師等。
第七階段:大數據實時計算
核心能力培養:
掌握實時數據收集、數據存儲、數據計算、任務調度、數據導入導出、數據報表開發技術;
掌握互聯網行爲數據分析/用戶看板/互聯網交易風險控制系統案例(業務知識、技術開發、實時架構);
掌握實時數據數據存儲(Hbase/Redis),查詢操作(ElasticSearch)等技術;
掌握推薦系統開發整體架構、數據清洗、數據調度、數據導入導出、推薦引擎開發。
具備能力及市場價值:
能夠勝任實時相關工作,包括ETL工程師、Storm工程師、搜索系統工程師、初級推薦系統工程師等。
第八階段:大數據內存計算
核心能力培養:
掌握Spark基礎、Spark RDD、Spark SQL、Spark Streaming開發技術;
掌握互聯網電商用戶畫像建模、開發、可視化(業務知識、技術開發、架構) 掌握數據數據存儲及存儲(Hbase+Phoenix)。
具備能力及市場價值:
能夠勝任Spark相關工作,包括ETL工程師、Spark工程師、Hbase工程師、用戶畫像系統工程師等 目前企業急缺Spark相關人才。
第九階段:機器學習基礎
核心能力培養:
瞭解機器學習基本概念、流程、常見算法。
能夠使用算法解決簡單的業務問題(特徵提取、模型設計、代碼開發、效果評測)。
具備能力及市場價值:
機器學習入門,能夠解決簡單的業務問題。
好了,關於大數據的學習,就說這麼多了