hadoop的概念及集羣搭建

1、hadoop介紹

Hadoop 是 Lucene 創始人 Doug Cutting，根據 Google 的相關內容山寨出來的分佈式文件系統和對海量數據進行分析計算的基礎框架系統，其中包含 MapReduce 程序，hdfs 系統等！[它受到最先由 Google Lab 開發的 Map/Reduce 和 Google File System(GFS) 的啓發。]

Hadoop實現了一個分佈式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯性的特點，並且設計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應用程序的數據，適合那些有着超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統中的數據。

Hadoop的框架最核心的設計： HDFS 和mapreduce
HDFS: 爲海量數據提供存儲
MapReduce: 爲海量數據提供了計算cluster:集羣

LB：負載均衡
LVS SLB HAPROXY,nginx

HA:高可用
MHA，keepalived，hearebeat

HPC:
Hadoop:
大批量的計算輔助存儲和運算
什麼是分佈式：分散的

2、Hadoop的集羣優點：

Hadoop是一個能夠對大量數據進行分佈式處理的軟件框架。 Hadoop 以一種可靠、高效、可伸縮的方式進行數據處理。
Hadoop 是可靠的，因爲它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分佈處理。
Hadoop 是高效的，因爲它以並行的方式工作，通過並行處理加快處理速度
Hadoop 還是可伸縮的，能夠處理 PB 級數據。

PB級別的數據換算成G？
IPB=1024TB
1TB=1024G

Hadoop 依賴於社區服務，因此它的成本比較低，任何人都可以使用。

Hadoop是一個能夠讓用戶輕鬆架構和使用的分佈式計算平臺。用戶可以輕鬆地在Hadoop上開發和運行處理海量數據的應用程序。它主要有以下幾個優點：

高可靠性： hadoop 按位存儲和處理數據的能力值得人們信賴
高擴展性：節點比較多，方便計算和分配數據。
什麼是節點？
節點是一個術語,代指一類設備.他們可以是主機（pc）,服務器,也可以是構成傳輸網絡的交換機,路由器,防火牆等等.

高效性： Hadoop能夠在節點之間動態地移動數據，並保證各個節點的動態平衡，因此處理速度非常快。
容錯性：Hadoop能夠自動保存數據的多個副本，並且能夠自動將失敗的任務重新分配。
raid 容錯性是什麼意思，raid幾沒有容錯性？ raid 幾有容錯性。

低成本：與一體機、商用數據倉庫以及QlikView、Yonghong Z-Suite等數據集市相比，hadoop是開源的，項目的軟件成本因此會大大降低
注意： hadoop框架開發語言： java，在linux上運行效果比較理想。
官網： http://hadoop.apache.org/

3、關於hadoop的相關概念：

1）分佈式存儲：

linux存儲有哪些？
NFS, NAS, HDFS,MFS

命名空間
namespace:在分佈式存儲系統中，分散在不同節點中的數據可能屬於同一個文件，爲了組織衆多的文件，把文件可以放到不同的文件夾中，文件夾可以一級一級的包含。我們把這種組織形式稱爲命名空間（namespace）。命名空間管理着整個服務器集羣中的所有文件。命名空間的職責與存儲真實數據的職責是不一樣的。負責命名空間職責的節點稱爲主節點（master node），負責存儲真實數據職責的節點稱爲從節點（slave node）

主從節點：
主節點負責管理文件系統的文件結構，從節點負責存儲真實的數據，合稱爲主從式結構（master-slaves）

用戶操作的時候，也應該是先和主節點打交道，查詢數據在那些從節點上，然後再從從節點讀取數據。有的時候爲了加快用戶的訪問速度，會把整個命名空間信息都放在內存當中、當存儲文件越多時，我們主節點就需要越多的內存空間。

打開一個文件是先加載到哪裏？內存
我們爲什麼用筆記本打不開一個2T大小的文件？ --內存太小

2）Block

在從節點存儲數據時，有的原始數據文件可能很大，有的可能很小，大小不一的文件不容易管理，那麼可以抽象出一個獨立的存儲文件單位，稱爲塊（block）。

問題：如果我的硬盤有500G，現在還剩200G ，但是我創建文件的時候提示我硬盤空間不足？

答：一般情況是因爲inode號不足

3）容災

數據存放在集羣中，可能因爲網絡原因或者服務器硬件原因造成訪問失敗，最好採用副本（replication）機制，把數據同時備份到多臺服務器中，這樣數據就安全了，數據丟失或者訪問失敗的概率就小了

異地容災？

答：不同的地域，構建一套或者多套相同的應用或者數據庫，起到災難後立刻接管的作用

在 hadoop 中，分佈式存儲系統稱爲 HDFS（hadoop distributed file system）。其中，主節點稱爲名字節點（namenode），從節點稱爲數據節點（datanode）

流程：

1：首先，客戶端請求查看數據，請求先訪問namenode
2：nomenode根據你的需求，告訴你數據存儲在那些datanode上
3：客戶端直接和從節點聯繫，獲取數據

4、分佈式計算

對數據進行處理時，我們會把數據讀取到內存中進行處理。如果我們對海量數據進行處理，比如數據大小是 100GB，我們要統計文件中一共有多少個單詞。要想把數據都加載到內存中幾乎是不可能的，稱爲移動數據。

那麼是否可以把程序代碼放到存放數據的服務器上呢？因爲程序代碼與原始數據相比，一般很小，幾乎可以忽略的，所以省下了原始數據傳輸的時間了。現在，數據是存放在分佈式文件系統中，100GB 的數據可能存放在很多的服務器上，那麼就可以把程序代碼分發到這些服務器上，在這些服務器上同時執行，也就是並行計算，也是分佈式計算。這就大大縮短了程序的執行時間。我們把程序代碼移動數據節點的機器上執行的計算方式稱爲移動計算。

分佈式計算需要的是最終的結果，程序代碼在很多機器上並行執行後會產生很多的結果，因此需要有一段代碼對這些中間結果進行彙總。Hadoop中的分佈式計算一般是由兩階段完成的。
第一階段負責讀取各數據節點中的原始數據，進行初步處理，對各個節點中的數據求單詞數。然後把處理結果傳輸到第二個階段，對個節點結果進行彙總，產生最終結果。

求出100GB文件總共有多少個單詞？
執行過程：

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-I2Rhr1QX-1583322205305)(C:\Users\Administrator\Pictures\Camera Roll\20200302150119781.png)]

備註：在hadoop中，分佈式計算部分稱爲MapReduce

MapReduce 是一種編程模型，用於大規模數據集（大於1TB）的並行運算。概念"Map（映射）“和"Reduce(歸約)”，和它們的主要思想，都是從函數式編程語言裏借來的，還有從矢量編程語言裏借來的特性。它極大地方便了編程人員在不會分佈式並行編程的情況下，將自己的程序運行在分佈式系統上。

5、分佈式計算角色

主節點：作業節點（jobtracker）
從節點：任務節點（tasktracker）

在任務節點當中，運行第一階段的代碼稱爲map任務（map task ），運行第二階段代碼稱爲 reduce任務（reduce task）

名詞解釋：

1） hadoop : apache 開源的分佈式框架
2） HDFS： hadoop的分佈式文件系統
3） NameNode: Hadoop HDFS 元數據主節點服務器，負責保存datenode文件存儲元數據信息，這個服務器時單點的。
4） jobtracker : hadoop的map/reduce調度器，負責與任務節點通信分配計算任何並跟蹤任務進度，這個服務器也是單點的。
5） DataNode : Hadoop的數據節點，負責存儲數據
6） tasktracker: hadoop的調度程度，負責map和reduce的任務的啓動和執行

6、hadoop集羣搭建

1）環境

配好IP，關閉iptables，關閉selinux,配置hosts

[root@ chenc01 ~]# service iptables stop
[root@ chenc01 ~]# setenforce 0
[root@ chenc01 ~]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
10.0.0.61 chenc01
10.0.0.62 chenc02
10.0.0.63 chenc03

2）創建普通用戶

三臺服務器上都要創建普通用戶，hadoop，配置密碼： 123456

[root@ chenc01 ~]# useradd -u 8000 hadoop ; echo 123456 | passwd --stdin hadoop
更改用戶 hadoop 的密碼 。
passwd： 所有的身份驗證令牌已經成功更新。

3）設置namenode

設置namenode能夠無密鑰登錄另外兩臺服務器

[root@ chenc01 ~]# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
f1:7c:f6:6c:81:f5:a6:2a:74:d1:f2:95:50:38:ad:6f [email protected]
The key's randomart image is:
+--[ RSA 2048]----+
|              +. |
|             + . |
|        .    .= .|
|         +  o+.o.|
|        S o ++o.o|
|          .o.o.E |
|         . .  *  |
|          .  o   |
|           ..    |
+-----------------+
[root@ chenc01 ~]# ssh-copy-id  [email protected]
The authenticity of host '10.0.0.62 (10.0.0.62)' can't be established.
RSA key fingerprint is 9b:57:b9:86:84:90:a4:4b:44:3e:18:9f:8a:29:6f:e5.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '10.0.0.62' (RSA) to the list of known hosts.
[email protected]'s password: 
Now try logging into the machine, with "ssh '[email protected]'", and check in:

  .ssh/authorized_keys

to make sure we haven't added extra keys that you weren't expecting.

[root@ chenc01 ~]# ssh-copy-id  [email protected]
The authenticity of host '10.0.0.63 (10.0.0.63)' can't be established.
RSA key fingerprint is 9b:57:b9:86:84:90:a4:4b:44:3e:18:9f:8a:29:6f:e5.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '10.0.0.63' (RSA) to the list of known hosts.
[email protected]'s password: 
Now try logging into the machine, with "ssh '[email protected]'", and check in:

  .ssh/authorized_keys

to make sure we haven't added extra keys that you weren't expecting.
# 測試（是否能登錄成功
[root@ chenc01 ~]# ssh 10.0.0.62
Last login: Fri Nov 29 17:15:15 2019 from 10.0.0.1

4）安裝jdk

[root@ chenc01 ~]# rpm -ivh jdk-8u131-linux-x64_.rpm 
Preparing...                ########################################### [100%]
   1:jdk1.8.0_131           ########################################### [100%]
Unpacking JAR files...
	tools.jar...
	plugin.jar...
	javaws.jar...
	deploy.jar...
	rt.jar...
	jsse.jar...
	charsets.jar...
	localedata.jar...
# 修改/etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_131/
export JAVA_BIN=/usr/java/jdk1.8.0_131/bin/
export PATH=${JAVA_HOME}/bin:$PATH
export CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
# 加載
[root@ chenc01 ~]# source /etc/profile
# 查看java版本
[root@ chenc01 ~]# java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

問題： source 在數據庫裏還可以用來做什麼？
答：導入

5）在另外兩個節點安裝java/jdk

[root@ chenc02 ~]# rpm -ivh jdk-8u131-linux-x64_.rpm 
Preparing...                ########################################### [100%]
   1:jdk1.8.0_131           ########################################### [100%]
Unpacking JAR files...
	tools.jar...
	plugin.jar...
	javaws.jar...
	deploy.jar...
	rt.jar...
	jsse.jar...
	charsets.jar...
	localedata.jar...
# 修改/etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_131/
export JAVA_BIN=/usr/java/jdk1.8.0_131/bin/
export PATH=${JAVA_HOME}/bin:$PATH
export CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
# 加載
[root@ chenc02 ~]# source /etc/profile
# 查看java版本
[root@ chenc02 ~]# java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

6）安裝namenode

Hadoop 安裝目錄：/home/hadoop/hadoop-3.13 使用 root 帳號將 hadoop-3.1.3.tar.gz 上傳到服務器，並且放到/home/hadoop下！

創建dfs和tmp

[root@ chenc01 ~]# su - hadoop
[hadoop@ chenc01 ~]$ mkdir -p /home/hadoop/dfs/name /home/hadoop/dfs/data /home/hadoop/tmp
[hadoop@ chenc01 ~]$ rz
[hadoop@ chenc01 ~]$ whoami 
hadoop
[hadoop@ chenc01 ~]$ ls
dfs  hadoop-3.1.3.tar.gz  tmp

解壓

[hadoop@ chenc01 ~]$ tar xvf hadoop-3.1.3.tar.gz
[hadoop@ chenc01 ~]$ cd hadoop-3.1.3
[hadoop@ chenc01 hadoop-3.1.3]$ ll
total 200
drwxr-xr-x 2 hadoop hadoop   4096 2019-09-12 12:46 bin
drwxr-xr-x 3 hadoop hadoop   4096 2019-09-12 10:51 etc
drwxr-xr-x 2 hadoop hadoop   4096 2019-09-12 12:46 include
drwxr-xr-x 3 hadoop hadoop   4096 2019-09-12 12:46 lib
drwxr-xr-x 4 hadoop hadoop   4096 2019-09-12 12:46 libexec
-rw-rw-r-- 1 hadoop hadoop 147145 2019-09-04 17:31 LICENSE.txt
-rw-rw-r-- 1 hadoop hadoop  21867 2019-09-04 17:31 NOTICE.txt
-rw-rw-r-- 1 hadoop hadoop   1366 2019-09-04 17:31 README.txt
drwxr-xr-x 3 hadoop hadoop   4096 2019-09-12 10:51 sbin
drwxr-xr-x 4 hadoop hadoop   4096 2019-09-12 13:08 share
[hadoop@ chenc01 hadoop-3.1.3]$ cd /home/hadoop/hadoop-3.1.3/etc/hadoop/
[hadoop@ chenc01 hadoop]$ pwd
/home/hadoop/hadoop-3.1.3/etc/hadoop
[hadoop@ chenc01 hadoop]$ ls
hadoop-env.sh           # java的環境變量
yarn-env.sh             # 制定yarn框架的Java運行環境
slaves                  # 指定datanode數據存儲服務器
core-site.xml           # hadoop-web界面路徑
hdfs-site.xml           # 文件系統的配置文件
mapred-site.xml         # mapreducer 任務配置文件
yarn-site.xml           # yarn框架配置，主要一些任務的啓動位置

修改文件

[hadoop@ chenc01 hadoop]$ vim hadoop-env.sh
exprot JAVA_HOME=/usr/java/jdk1.8.0_13
[hadoop@ chenc01 hadoop]$ vim yarn-env.sh
JAVA_HOME=/usr/java/jdk1.8.0_131
[hadoop@ chenc01 hadoop]$ vim slaves
chenc02
chenc03

備註：這個是hadoop的核心配置，這裏需要配置兩屬性， fs.default.name 配置hadoop的HDFS系統命令，位置爲主機的9000端口， hadoop.tmp.dir 配置haddop的tmp目錄的根位置。

[hadoop@ chenc01 hadoop]$ vim core-site.xml

<configuration>
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://chenc01:9000</value>
</property>

<property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
</property>

<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/tmp</value>
        <description>Abase for other tmporary directries.</description>
</property>
</configuration>

備註： HDFS主要的配置文件， dfs.http.address配置了hdfs的http的訪問位置；
dfs.replication 配置文件的副本，一般不大於從機個數。

[hadoop@ chenc01 hadoop]$ vim hdfs-site.xml

<configuration>
<property>
<configuration>
<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>chenc01:9000</value>
</property>

<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/dfs/name</value>
</property>

<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/dfs/data</value>
</property>

<property>
        <name>dfs.replication</name>
        <value>2</value>
</property>

<property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
</property>
</configuration>

備註：這個是mapreduce任務配置文件，mapreduce.framework.name 屬性下配置yarn,
mapred.map.tasks和mapred.reduce.tasks 分別爲map和reduce 的任務數。同時指定hadoop歷史服務器hsitoryserver

我們可以通過historyserver查看mapreduce的作業記錄，比如用了多少個map,用了多少個reduce，作業啓動時間，作業完成時間。默認清空下，hadoop歷史服務器是沒有啓動的，我們需要通過命令來啓動。

[hadoop@ chenc01 ~]$ /home/hadoop/hadoop-3.1.3/sbin/mr-jobhistory-daemon.sh  start historyserver
/home/hadoop/hadoop-3.1.3/etc/hadoop/hadoop-env.sh: line 39: exprot: command not found
WARNING: Use of this script to start the MR JobHistory daemon is deprecated.
WARNING: Attempting to execute replacement "mapred --daemon start" instead.
WARNING: /home/hadoop/hadoop-3.1.3/logs does not exist. Creating.
[hadoop@ chenc01 hadoop]$ vim mapred-site.xml
<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

<property>
        <name>mapreduce.jobhistory.address</name>
        <value>chenc01:10020</value>
</property>

<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>chenc01:19888</value>
</property>
</configuration>

備註： yarn框架的配置，主要是一些任務的啓動位置

[hadoop@ chenc01 hadoop]$ vim yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<proetry>
        <name>yarn.nodemanager.aux-service</name>
        <value>mapreduce_shuffle</value>
</proetry>

<proetry>
        <name>yarn.nodemanager.uax-service.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapreduced.ShuffleHandle</value>
</proetry>
<proetry>
        <name>yarn.resoucemanager.address</name>
        <value>chenc01:8032</value>
</proetry>
<proetry>
        <name>yarn.resourcemanager.shceduler.address</name>
        <value>chenc01:8030</value>
</proetry>
<proetry>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>chenc01:8031</value>
</proetry>

<proetry>
        <name>yarn.resourcemanager.admin.address</name>
        <value>chenc01:8033</value>
</proetry>

<proetry>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>chenc01:8088</value>
</proetry>
</configuration>

datanode配置文件生成

[hadoop@ chenc01 hadoop]$ scp -r /home/hadoop/hadoop-3.13 hadoop@chenc02:~/
The authenticity of host 'chenc02 (10.0.0.62)' can't be established.
RSA key fingerprint is 9b:57:b9:86:84:90:a4:4b:44:3e:18:9f:8a:29:6f:e5.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'chenc02,10.0.0.62' (RSA) to the list of known hosts.
hadoop@chenc02's password: 
/home/hadoop/hadoop-3.13: No such file or directory
[hadoop@ chenc01 hadoop]$ scp -r /home/hadoop/hadoop-3.13 hadoop@chenc03:~/
The authenticity of host 'chenc03 (10.0.0.63)' can't be established.
RSA key fingerprint is 9b:57:b9:86:84:90:a4:4b:44:3e:18:9f:8a:29:6f:e5.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'chenc03,10.0.0.63' (RSA) to the list of known hosts.
hadoop@chenc03's password: 
/home/hadoop/hadoop-3.13: No such file or directory

namenode格式化數據：

一般第一次的時候需要初始化，之後就不需要了

[hadoop@ chenc01 ~]$ cd /home/hadoop/hadoop-3.1.3/bin/
[hadoop@ chenc01 bin]$ ./hdfs namenode -format
2020-03-04 16:05:17,247 INFO namenode.FSImageFormatProtobuf: Image file /home/hadoop/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 393 bytes saved in 0 seconds .
2020-03-04 16:05:17,268 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
2020-03-04 16:05:17,277 INFO namenode.FSImage: FSImageSaver clean checkpoint: txid = 0 when meet shutdown.
2020-03-04 16:05:17,278 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at xinsz08-1/192.168.1.18
************************************************************/

查看是否生成相應的內容

[hadoop@ chenc01 ~]$ cd /home/hadoop/dfs/
[hadoop@ chenc01 dfs]$ ls
data  name
[hadoop@ chenc01 dfs]$ tree
.
├── data
└── name
    └── current
        ├── fsimage_0000000000000000000
        ├── fsimage_0000000000000000000.md5
        ├── seen_txid
        └── VERSION

3 directories, 4 files

配置免密要登錄

[hadoop@ chenc01 dfs]$ ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
cf:4f:4e:5e:8a:4f:7e:86:e9:f6:8c:8f:77:b9:69:50 [email protected]
The key's randomart image is:
+--[ RSA 2048]----+
|                 |
|                 |
|                 |
|               E |
|        S     .  |
|         o   .   |
|          o +oo .|
|           X+*+oo|
|          .+@*=+.|
+-----------------+
[hadoop@ chenc01 dfs]$ ssh-copy-id chenc02
[hadoop@ chenc01 dfs]$ ssh-copy-id chenc01 # 對自己也做一次
[hadoop@ chenc01 dfs]$ ssh-copy-id chenc03

備註：方便後期複製文件或者啓動服務。因爲namenode啓動時候，會鏈接到datanode上啓動對應的服務。

啓動hdfs

[hadoop@ chenc01 dfs]$ /home/hadoop/hadoop-3.1.3/etc/hadoop

報錯：2020-03-04 16:16:45,394 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

解答： http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 下載對應版本
解壓，覆蓋hadoop下/lib/native/
上傳之後解壓：
[hadoop@ chenc01 ~]$ cd hadoop-3.1.3/lib/native/
[hadoop@ chenc01 native]$ ls
examples          libhadoop.so        libhdfs.a         libnativetask.a
libhadoop.a       libhadoop.so.1.0.0  libhdfs.so        libnativetask.so
libhadooppipes.a  libhadooputils.a    libhdfs.so.0.0.0  libnativetask.so.1.0.0
[hadoop@ chenc01 native]$ rz
[hadoop@ chenc01 native]$ tar xf hadoop-native-64.tar 
[hadoop@ chenc01 native]$ ls
examples              libhadoop.so.1.0.0  libnativetask.a
hadoop-native-64.tar  libhadooputils.a    libnativetask.so
libhadoop.a           libhdfs.a           libnativetask.so.1.0.0
libhadooppipes.a      libhdfs.so
libhadoop.so          libhdfs.so.0.0.0

覆蓋完之後重啓

關閉之後在啓動

[hadoop@ chenc01 ~]$ cd /home/hadoop/hadoop-3.1.3/etc/hadoop/
[hadoop@ chenc01 hadoop]$ ../../sbin/stop-dfs.sh

啓動yarn

也就是說我們要啓動分佈式計算

[hadoop@ chenc01 hadoop]$ ../../sbin/start-yarn.sh
[hadoop@ chenc01 hadoop]$ ../../sbin/start-all.sh

啓動jobhistory

[hadoop@ chenc01 hadoop]$ ../../sbin/mr-jobhistory-daemon.sh start historyserver

Web查看集羣狀態

瀏覽器輸入http://10.0.0.61:8088/cluster

hadoop的概念及集羣搭建

文章目錄

1、hadoop介紹

2、Hadoop的集羣優點：

3、關於hadoop的相關概念：

1）分佈式存儲：

2）Block

3）容災

4、分佈式計算

5、分佈式計算角色

6、hadoop集羣搭建

1）環境

2）創建普通用戶

3）設置namenode

4）安裝jdk

5）在另外兩個節點安裝java/jdk

6）安裝namenode

創建dfs和tmp

解壓

修改文件

datanode配置文件生成

namenode格式化數據：

查看是否生成相應的內容

配置免密要登錄

啓動hdfs

啓動yarn

啓動jobhistory

Web查看集羣狀態

安裝Lamp實現個人Wordpress博客

linux中日誌管理及日誌輪詢

Linux 常見基礎命令

Linux下Shell信號發送與捕捉

Ansible 實現批量架構

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結

hadoop的概念及集羣搭建

文章目錄

1、hadoop介紹

2、Hadoop的集羣優點：

3、關於hadoop的相關概念：

1）分佈式存儲：

2）Block

3）容災

4、分佈式計算

5、分佈式計算角色

6、hadoop集羣搭建

1）環境

2）創建普通用戶

3） 設置namenode

4）安裝jdk

5）在另外兩個節點安裝java/jdk

6）安裝namenode

創建dfs和tmp

解壓

修改文件

datanode配置文件生成

namenode格式化數據：

查看是否生成相應的內容

配置免密要登錄

啓動hdfs

啓動yarn

啓動jobhistory

Web查看集羣狀態

3）設置namenode