【Hadoop】搭建hadoop集羣

基本配置：
三臺機器名分別是zhangkai,zhangkai2,zhangkai3,並且都是在zzxb普通用戶下進行搭建。
hadoop-2.7.4、jdk8

步驟：
1.在各個節點opt目錄下創建app目錄，用來存放集羣相關的軟件。

$ sudo mkdir /opt/app

賦予zzxb用戶對app目錄的讀權限。

sudo chown -R zzxb:skhadoop app

2.將hadoop安裝包解壓縮到app目錄

$ tar -zxf hadoop-2.7.4.tar.gz -C /opt/app/

3.將原有的hadoop配置文件目錄，拷貝到app/hadoop-2.7.4/etc目錄下並備份原有目錄

$ cd /opt/app/hadoop-2.7.4/etc/
$ mv ./hadoop/ ./hadoop_bak/

拷貝目錄

$ cp -R /opt/modules/hadoop-2.7.4/etc/hadoop/ ./

*4.修改相關文件
1）core-site.xml

$ vi etc/hadoop/core-site.xml

創建/data/temp並增加如下代碼：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://zhangkai:9000</value>
</property>
<property>
  <name>hadoop.temp.dir</name>
  <value>/opt/app/hadoop-2.7.4/data/temp</value>
</property>

2）hdfs-site.xml

$ vi etc/hadoop/hdfs-site.xml

增加如下代碼：

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>zhangkai3:50090</value>
</property>

3)slaves文件

$ vi etc/hadoop/slaves

修改內容：

zhangkai
zhangkai2
zhangkai3

4)master文件

$ vi etc/hadoop/master

修改內容：

zhangkai

5)yarn-site.xml

$ vi etc/hadoop/yarn-site.xml

修改內容如下：

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>zhangkai2</value>
</property>

5.分發配置到其他節點上
1）配置zzxb免密鑰SSH登錄

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

2）配置各個節點的無密鑰SSH登錄

$ cd
$ cd .ssh/
$ ssh-copy-id zhangkai2   
$ ssh-copy-id zhangkai3

6.分發前刪除沒用的目錄share/doc

$ rm -rf /opt/app/hadoop-2.7.4/share/doc

7.分發

$ scp -r ./hadoop-2.7.4/ zzxb@zhangkai2:/opt/app/
$ scp -r ./hadoop-2.7.4/ zzxb@zhangkai3:/opt/app/

*8.配置zhangkai,zhangkai2,zhangkai3這三臺機器的無密鑰登錄
1）先配置zhangkai

rm -rf .ssh/
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

$ cd .ssh/
$ ssh-copy-id zhangkai2
$ ssh-copy-id zhangkai3

2）接着配置zhangkai2

rm -rf .ssh/
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

$ cd .ssh/
$ ssh-copy-id zhangkai
$ ssh-copy-id zhangkai3

3）最後配置zhangkai3

rm -rf .ssh/
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

$ cd .ssh/
$ ssh-copy-id zhangkai
$ ssh-copy-id zhangkai2

這樣就實現了三臺機器的免密登錄

---

*啓動hadoop集羣服務
zhangkai(主)：NameNode,DataNode,NodeManager.
zhangkai2：DataNode,NodeManager,ResourceManager
zhangkai3：DataNode,SecondaryNameNode,NodeManager

1.在主機zhangkai中格式化HDFS系統

$ bin/hdfs namenode -format

2.在主機zhangkai中啓動namenode服務

$ sbin/start-dfs.sh

3.在zhangkai2中啓動yarn服務

$ sbin/start-yarn.sh 

4.使用jps命令查看服務的啓動情況