Hadoop 2.x 四層架構

原創 安卓学吧 2020-06-21 15:36


一、存儲層：文件系統HDFS，NoSQL Hbase

二、資源及數據管理層：YARN以及Sentry等

三、計算引擎：MapReduce、Impala、Spark等

四、基於MapReduce、Spark等計算引擎的高級封裝及工具：Hive、Pig、Mahout等


Sqoop (Sql to Hadoop) 被設計爲支持批量從結構化數據存儲導入數據到HDFS，如關係數據庫，企業級數據倉庫和NoSQL系統。

Flume 用於移動大規模批量流數據到 HDFS 系統。從Web服務器收集當前日誌文件數據到HDFS聚集用於分析
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

Redis教程（二）詳解

Redis是一個開源，高級的鍵值存儲和一個適用的解決方案，用於構建高性能，可擴展的Web應用程序。Redis有三個主要特點，使它優越於其它鍵值數據存儲系統 -Redis將其數據庫完全保存在內存中，僅使用磁盤進行持久化。與其它鍵值數據存儲相

安卓学吧 2020-06-21 15:36:31

Redis教程（一）簡介及安裝

一、簡介1.1  特點    redis是一個開源的key-value存儲系統，支持多種數據結構，包括：String，hashes，lists，sets和sorted sets。redis將數據存儲於內存中，在內存不足的時候使用虛擬內存來

安卓学吧 2020-06-21 15:36:31

Redis - Memcached 比較

Memcached和Redis作爲兩種Inmemory的key-value數據庫，在設計和思想方面有着很多共通的地方，作爲分佈式緩存服務器使用等也很相似，在這裏把兩者放在一起做一下對比的介紹  基本架構和思想首先簡單介紹一下兩者的架構和設

安卓学吧 2020-06-21 15:36:31

大數據都學什麼？（初學者）

一、學習大數據需要的基礎    java SE，EE(SSM)        90%的大數據框架都是java寫的    MySQL        SQL on Hadoop    Linux        大數據的框架安裝在Linux操作

IT_laobai 2020-06-19 16:12:52

Java大數據學習11--資源調度平臺Yarn的執行流程和三種調度器介紹

一、概述 Yarn是一個資源調度平臺，負責爲運算程序提供服務器運算資源，相當於一個分佈式的操作系統平臺，而mapreduce等運算程序則相當於運行於操作系統之上的應用程序。 二、重要概念 1、yarn並不清楚用戶提交的程序的運行機制 2、

stalin_ 2020-06-07 22:16:59

Java大數據學習09--Mapreduce數據壓縮介紹和配置方法

一、概述： 數據壓縮是mapreduce的一種優化策略：通過壓縮編碼對mapper或者reducer的輸出進行壓縮，以減少磁盤IO，提高MR程序運行速度（但相應增加了cpu運算負擔） 二、基本原則： 運算密集型的job，少用壓縮 IO密集

stalin_ 2020-06-07 22:16:48

MongoDB教程（二） 詳解

安卓学吧 2020-05-13 19:20:37

大數據是什麼？學大數據要掌握的基礎是？（簡單的介紹）

IT_laobai 2020-02-23 06:57:45

Linux定時

IT_laobai 2020-02-23 06:57:45

Hadoop（一） Windows安裝

安卓学吧 2020-02-21 03:27:40

Hadoop（二） HDFS原理

安卓学吧 2020-02-21 03:27:40

Yarn（二） 詳解

安卓学吧 2020-02-21 03:27:40

Hadoop - Spark 關係

安卓学吧 2020-02-21 03:27:40

Memcached教程（一） 簡介及安裝

安卓学吧 2020-02-21 03:27:40

MongoDB教程（三） Linux下安裝

安卓学吧 2020-02-21 03:27:40