好程序員大數據教程Hadoop全分佈安裝(非HA)

 
  機器名稱 啓動服務
  linux11 namenode secondrynamenode datanode
  linux12 datanode
  linux13 datanode
  第一步:更改主機名,臨時修改+永久修改
  臨時修改:hostname linux11
  永久修改: vi /etc/sysconfig/network
  NETWORKING=yes
  HOSTNAME=linux11
  臨時修改:hostname linux12
  永久修改: vi /etc/sysconfig/network
  NETWORKING=yes
  HOSTNAME=linux11
  臨時修改:hostname linux13
  永久修改: vi /etc/sysconfig/network
  NETWORKING=yes
  HOSTNAME=linux13
  第二步:配置ip地址
  1.三臺機器關閉NetworkManager服務 service NetworkManager stop
  2.三臺機器禁止開機啓動NetworkManager服務 chkconfig NetworkManager off
  3. vi /etc/sysconfig/network-scripts/ifcfg-eth0
  三臺機器依次配置成這樣
  linux11:
  ONBOOT=yes
  BOOTPROTO=static
  IPADDR=192.168.91.11
  DNS1=8.8.8.8
  GATEWAY=192.168.91.1
  NETMASK=255.255.255.0
  linux12:
  ONBOOT=yes
  BOOTPROTO=static
  IPADDR=192.168.91.12
  DNS1=8.8.8.8
  GATEWAY=192.168.91.1
  NETMASK=255.255.255.0
  linux13:
  ONBOOT=yes
  BOOTPROTO=static
  IPADDR=192.168.91.13
  DNS1=8.8.8.8
  GATEWAY=192.168.91.1
  NETMASK=255.255.255.0
  最終結果:
  192.168.91.11 linux11
  192.168.91.12 linux12
  192.168.91.13 linux13
  3.三臺機器關閉防火牆 service iptables stop
  4.三臺機器設置禁止開機啓動防火牆 chkconfig iptables off
  5.三臺機器關閉防火牆 service iptables status
  顯示iptables: Firewall is not running.說明防火牆關閉成功
  6.三臺機器重啓網卡service network restart
  第三步配置主機映射
  使用命令:vi /etc/hosts
  三臺機器都改成這樣
  192.168.91.11 linux11
  192.168.91.12 linux12
  192.168.91.13 linux13
  127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
  ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
  測試:
  在linux11上 ping linux12 ping linux13
  第四步配置免密碼登錄
  linux11:
  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  chmod 600 ~/.ssh/authorized_keys
  linux12:
  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  chmod 600 ~/.ssh/authorized_keys
  linux13:
  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  chmod 600 ~/.ssh/authorized_keys
  在linux11上
  ssh-copy-id linux12
  ssh-copy-id linux13
  測試:測試結果爲linux11可以免密碼登錄到所有機器。linux12 linux13可以免密碼登錄本機
  例如:在linux11上輸入 ssh linux11
  第五步安裝jdk及hadoop(由於使用root用戶操作,爲了防止對liunx操作不熟悉的人,誤刪其他文件。所以沒有選擇把軟件安裝在/usr下,而是選擇安裝在了自己創建的文件目錄下)
  linux11:
  1.在根目錄下創建bigdata目錄 mkdir /bigdata
  2.將hadoop安裝包 tar -zxvf /bigdata/hadoop-2.7.1.tar.gz -C /bigdata/
  刪除hadoop安裝包 rm -rf /bigdata/hadoop-2.7.1.tar.gz
  3.jdk安裝包解壓 tar -zxvf /bigdata/jdk-8u151-linux-x64.gz -C /bigdata/
  刪除jdk安裝包 rm -rf /bigdata/jdk-8u151-linux-x64.gz
  修改jdk目錄的名字爲jdk1.8 mv /bigdata/jdk1.8.0_151/ /bigdata/jdk1.8
  4.配置環境變量 vi /etc/profile
  在文件末尾加入如下配置
  export JAVA_HOME=/bigdata/jdk1.8
  export HADOOP_HOME=/bigdata/hadoop-2.7.1
  export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
  第六步:hadoop的配置
  1.hadoop-env.sh的配置
  使用命令 vi /bigdata/hadoop-2.7.1/etc/hadoop/hadoop-env.sh
  第25行export JAVA_HOME=改成下面的樣子
  export JAVA_HOME=/bigdata/jdk1.8
  2.core-site.xml 的配置
  使用命令 vi /bigdata/hadoop-2.7.1/etc/hadoop/core-site.xml
  配置成這樣:
好程序員大數據教程Hadoop全分佈安裝(非HA)
3.hdfs-site.xml的配置
  使用命令 vi /bigdata/hadoop-2.7.1/etc/hadoop/hdfs-site.xml
  配置成這樣:
好程序員大數據教程Hadoop全分佈安裝(非HA)
好程序員大數據教程Hadoop全分佈安裝(非HA)
4.slaves文件配置
  使用命令 vi /bigdata/hadoop-2.7.1/etc/hadoop/slaves
  配置成這樣
  linux11
  linux12
  linux13
  第七步:遠程拷貝
  1.將bigdata文件分發給linux12 linux13
  scp -r /bigdata linux12:/
  scp -r /bigdata linux13:/
  2.將/etc/profile文件分發給linux12 linux13
  scp /etc/profile linux12:/etc
  scp /etc/profile linux13:/etc
  3.三臺機器刷新環境變量 source /etc/profile
  第八步:格式化namenode
  在namenode節點linux11上輸入命令 hdfs namenode -format
  格式化完成後在linux11上啓動集羣 start-dfs.sh
  第九步:驗證集羣是否啓動成功
  1.在瀏覽器上輸入192.168.91.11:50070如果頁面能打開顯示有3個活躍節點說明成功
  2.linux11上輸入jps 能看到namenode secondrynamenode datanode三個服務
  3.linux12上輸入jps 能看到datanode
  4.linux12上輸入jps 能看到datanode
  5.上傳個文件至集羣hdfs dfs -put /bigdata/jdk1.8 /
  6.查看web頁面是否存在這個文件
好程序員大數據教程Hadoop全分佈安裝(非HA)

        好程序員,從平凡到卓越,爲夢想而拼搏!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章