想了解大數據的鼻祖Hadoop技術棧,這裏有一份優質書單推薦!

 

 

 

如何用形象的比喻描述大數據的技術生態?Hadoop、Hive、Spark 之間是什麼關係?對於大部分人來說都是傻傻分不清楚。

 

 

今年來大數據、人工智能獲得了IT界大量的關注。如果一個企業不玩大數據,都不好意思說自己是在IT圈混的。我敢打賭,你在中關村西二旗地鐵站溜一圈,保準你會聽到如下名詞:Hadoop、Spark、MapReduce、NoSQL、離線計算、實時計算、實時推送等等一大串名稱。

 

 

程序猿們就是有這麼實在,坐在地鐵上還能那麼投入的討論技術問題。那麼,這些聽起來高大上的技術,究竟都是幹什麼用的呢?他們之間的有什麼區別和聯繫?

 

 

通常,一個技術的興起,都是由現實需求驅動的。瞭解了我們面臨的問題,就能更好的理解各個大數據技術的使用場景,各類大數據技術的區別也就顯而易見了。

 

 

今天這一份書單,我們就將從Hadoop生態圈開始入手,推薦幾本關於Hadoop生態圈的優質書籍!

 

Hadoop技術棧系列書單

 

Hadoop權威指南:大數據的存儲與分析(第4版)

 

 

本書結合理論和實踐,由淺入深,全方位介紹了Hadoop這一高性能的海量數據處理和分析平臺。

 

全書5部分24章,第Ⅰ部分介紹Hadoop基礎知識,主題涉及Hadoop、MapReduce、Hadoop分佈式文件系統、YARN、Hadoop的I/O操作。第Ⅱ部分介紹MapReduce,主題包括MapReduce應用開發;MapReduce的工作機制、MapReduce的類型與格式、MapReduce的特性。第Ⅲ部分介紹Hadoop的運維,主題涉及構建Hadoop集羣、管理Hadoop。第Ⅳ部分介紹Hadoop相關開源項目,主題涉及Avro、Parquet、Flume、Sqoop、Pig、Hive、Crunch、Spark、HBase、ZooKeeper。第Ⅴ部分提供了三個案例,分別來自醫療衛生信息技術服務商塞納(Cerner)、微軟的人工智能項目ADAM(一種大規模分佈式深度學習框架)和開源項目Cascading(一個新的針對MapReduce的數據處理API)。

 

 

本書是一本專業、全面的Hadoop參考書和工具書,闡述了Hadoop生態圈的新發展和應用,程序員可以從中探索海量數據集的存儲和分析,管理員可以從中瞭解Hadoop集羣的安裝和運維。

 

作者簡介

TomWhite是傑出的Hadoop專家之一。自2007年2月以來,TomWhite一直是ApacheHadoop的提交者(committer),也是Apache軟件基金會的成員。Tom是Cloudera的軟件工程師,他是Cloudera的首批員工,對Apache和Cloudera做出了舉足輕重的貢獻。

 

 

譯者簡介

王海博士,解放軍理工大學通信工程學院教授,博導,教研中心主任,長期從事無線自組網網絡的設計與研發工作,主持國家自然科學基金、國家863計劃課題等多項課題,近5年獲軍隊科技進步二等獎1項,三等獎6項,作爲di一發明人申請國家發明專利十餘項,發表學術論文50餘篇。

劉喻博士,長期從事軟件開發、軟件測試和軟件工程化管理工作,目前任教於清華大學軟件所。

呂粵海,長期從事軍事通信網絡技術研究與軟件開發工作,先後通過華爲光網絡高級工程師認證、思科網絡工程師認證。

 

 

深度剖析Hadoop HDFS

 

本書基於Hadoop 2.7.1版本進行分析,全面描述了HDFS 2.X的核心技術與解決方案,書中描述了HDFS內存存儲、異構存儲等幾大核心設計,包括源碼細節層面的分析,對於HDFS中比較特殊的幾個場景過程也做了細粒度的分析。

 

 

閱讀本書可以幫助讀者從架構設計與功能實現角度瞭解HDFS 2.X,同時還能學習HDFS 2.X框架中優秀的設計思想、設計模式、Java語言技巧等。這些對於讀者全面提高自己分佈式技術水平有很大的幫助。

 

 

本書分爲三大部分:核心設計篇、細節實現篇、解決方案篇,“核心設計篇”包括HDFS的數據存儲原理、HDFS的數據管理與策略選擇機制、HDFS的新穎功能特性;“細節實現篇”包括HDFS的塊處理、流量處理等細節,以及部分結構分析;“解決方案篇”包括HDFS的數據管理、HDFS的數據讀寫、HDFS的異常場景等。本書適合於雲計算相關領域研發人員、雲計算相關運維工程師、高年級研究生或本科、熱衷於分佈式計算研究的人。

 

 

作者簡介

林意羣,唯品會上海研發中心數據應用部研發工程師,Apache Hadoop Committer,主要專注於HDFS模塊的研究。對大數據處理、分佈式計算興趣濃厚,在實際工作中努力鑽研,分享了大量技術文章,貢獻了很多實踐經驗。

 

HBase不睡覺書

 

HBase是Apache旗下一個高可靠性、高性能、面向列、可伸縮的分佈式存儲系統。利用HBase技術可在廉價的PC服務器上搭建大規模的存儲化集羣,使用HBase可以對數十億級別的大數據進行實時性的高性能讀寫,在滿足高性能的同時還保證了數據存取的原子性。


本書共分爲9章,由淺入深地講解HBase概念、安裝、配置、部署,讓讀者對HBase先有一個感性認識,再從應用角度介紹了高級用法、監控和性能調優。既兼顧了初學者,也適用於想要深入學習HBase的讀者。


本書適合於以前沒有接觸過HBase,或者瞭解HBase,並希望能夠深入掌握的讀者,適合HBase應用開發人員和系統管理人員學習使用。
 

作者簡介

楊曦,就職於硅谷某上市公司,對大數據、雲計算等技術有較深研究以及豐富的項目實踐經驗。熱衷編寫開源項目、撰寫技術博客以及折騰各種技術項目。

 

Hive實戰

 

Hive“出身名門”,是最初由Facebook公司開發的數據倉庫工具。它簡單且容易上手,是深入學習Hadoop技術的一個很好的切入點。

 

 

本書由數據庫專家和大數據專家共同撰寫,具體內容包括:Hive的安裝和配置,其核心組件和架構,Hive數據操作語言,如何加載、查詢和分析數據,Hive的性能調優以及安全性,等等。本書旨在爲讀者打牢基礎,從而踏上專業的大數據處理之旅。

 

 

作者簡介

斯科特·肖(Scott Shaw)
Hortonworks公司解決方案工程師,曾爲微軟公司的商業智能項目擔任顧問,擁有近20年的數據管理經驗。作爲演講者和培訓師,他致力於普及分佈式計算、大數據概念、商業智能、Hive和Hadoop。

安德烈亞斯·弗朗索瓦·弗穆爾恩(Andreas Fran?ois Vermeulen)
集數據科學家、數據倉庫架構師、博士研究員、企業顧問等角色於一身,曾獲“英國數據科學技術先鋒”稱號,廣泛涉足數據工程、商業智能、雲架構、深度學習等多個領域。

安庫爾·古普塔(Ankur Gupta)
Hortonworks公司解決方案工程師,曾在Oracle公司擔任顧問,有多年從事數據架構師和Oracle數據庫管理員的經驗,著有Oracle GoldenGate 11g Complete Cookbook。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章