大數據 big-data
:white_check_mark: 轉載請註明出處與作者信息（如下）
原創作者：王小雷
作品出自：https://github.com/wangxiaoleiAI/big-data
聯繫郵件：wov@outlook.com最新文章：
- [x] “卜算子·大數據”目錄——系列文章與源碼介紹,目錄
- [x] 1.1 Virtualbox虛擬機快速入門
- [x] 1.2 Linux使用技巧快速入門
- [x] 1.3 virtualbox高級應用構建本地大數據集羣服務器
- [x] 2.1 Hadoop僞分佈式部署
- [x] 2.2 Hadoop3.1.0完全分佈式集羣配置與部署
- [x] 2.3 基於IDEA開發第一個大數據程序WordCount
項目地址 https://github.com/wangxiaoleiAI/big-data
摘要
“卜算子·大數據”是什麼？
“卜算子·大數據”面向大數據生態組件編程、應用、架構，從入門到精通，讓後端開發人員成爲大數據開發工程師！
文章、源碼怎麼獲取？
https://github.com/wangxiaoleiAI/big-data 該項目源碼、文章開源。
努力每週日文章更新進度+1，努力構建大數據生態體系。你將學到什麼？
Linux、Java、Hadoop、Spark、Sqoop、hive、pig、hbase、zookeeper、Oozie、flink…etc，大數據生態的主流技術，面向大數據（分佈式計算）的編程、應用、架構。其他技術體系請關注微信公衆號【從入門到精通】。
:pencil2: 該頁面其餘內容仍在努力構建中…
數據模式
Apache Avro
APache Parquet
存儲
理論CAP、OLAP、OLTP、數據倉庫
HDFS(CP)
Hbase(CP)
Cassandra(CA)
Phoenix(OLTP)
Kylin(OLAP)
服務器協調
Zookeeper
數據採集
Apcahe Sqoop
Apcahe Kafka
Apcahe Flume
數據分析、批處理系統
Apcahe Hadoop MapReuce
Apache Hive
Apache Pig
Apache Crunch
Oozie
大數據查詢系統
ClickHouse
Phoenix
Presto
Impala
Druid
Kylin
Greenplum
流處理系統
Apache Samza
Apache Storm
Apache Spark Streaming
Amazon Kinesis
Kafka Streams
Apache Flink
大數據架構
Lambda架構
Kappa架構
消息隊列系統
NIO
netty
rabitMQ
Srping AMQ
想學習大數據，卻不知該如何下手？
關注這個項目就對了，會從入零開始，一步步走入大數據生態，編程、應用、架構。
有不懂的如何交流？
進微信羣，有志同道合小夥伴，請關注微信公衆號【從入門到精通】，獲取微信羣。
誰在原創？
關於作者，2014年進入大數據領域,任職某股份公司技術經理，主要從事大數據相關工作。
大數據完整知識體系原創分享，長按關注微信公衆號【從入門到精通】，進羣交流、獲取一手更新資訊。
- [x] 摘要
第I部分 爲大數據做基礎準備
第1章 開門見山
第II部分 分佈式計算應用構建與編程
第2章 Hadoop初步入門
第3章 Sqoop從關係型數據庫中獲取數據
- [ ] 3.1 Sqoop快速搭建
- [ ] 3.2 實戰Sqoop從Mysql中導出數據
第4章 Spark核心組件
- [ ] 4.1 Spark超快入門——開發第一個spark應用程序
- [ ] 4.2 Spark RDD，Spark SQL應用
- [ ] 4.3 實戰Spark基於Hadoop yarn發佈應用
第5章 Zookeeper瞭解一下
- [ ] 5.1 Zookeeper 瞭解一下
第6章 Hbase應用
- [ ] 6.1 超快入門Hbase
- [ ] 6.2 Hbase數據範式
第7章 Kafka應用
第III部分 大數據應用架構
第8章 批處理——大數據應用架構
第9章 實時處理——大數據應用架構
附錄
項目起始：2018.06.11-晚
