Hadoop安裝

安裝JDK

https://mp.csdn.net/postedit/103292614

 

安裝Hadoop

https://mp.csdn.net/postlist

下載、解壓

進入到hadoop目錄下的 /etc/hadoop/內

修改

        hadoop-env.sh

          添加JAVA_HOME

        core-site.xml

          集羣地址、目錄地址、避免使用默認重啓系統導致數據丟失

         <property>
                  <name>fs.defaultFS</name>
                  <value>hdfs://localhost:8020</value>
         </property>

         <property>
                 <name>hadoop.tmp.dir</name>
                 <value>目錄</value>
         </property>

        hdfs-site.xml 

         設置副本數量，hadoop默認爲3，如果一臺則設置爲1

         <property>
                <name>dfs.replication</name>
                <value>1</value>
         </property>

         mapred-site.xml

         <property>
                 <name>mapreduce.framework.name</name>
                 <value>yarn</value>
         </property>

         yarn-site.xml

         <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
         </property>

         slaves

            集羣內機器映射   a1,a2,a3

配置免密登錄

ls -a

ls -la

查看根目錄下是否有.ssh目錄

 

ssh localhost

yes 輸入密碼登錄

exit 退出

執行 ssh-keygen -t rsa 一路回車

會在.ssh目錄中生成對應祕鑰和私鑰

id_rsa  私鑰

id_rsa.pub 公鑰

 

複製公鑰cat id_rsa.pub >> authorized_keys

設置權限chmod 600 authorized_keys

 

到bin目錄下執行格式化命令，不要重複執行

hdfs namenode -format

 

啓動集羣：$HADOOP_HOME/sbin/start-dfs.sh

驗證

   jps查看進行，有NameNode、DataNode、SecondaryNameNode

http://localhost:50070
        如果發現jps ok，但是瀏覽器沒有？ 十有八九是防火牆問題
        查看防火牆狀態：sudo firewall-cmd --state
        關閉防火牆: sudo systemctl stop firewalld.service
        禁止防火牆開機啓動：

 

         systemctl stop firewalld.service  

         systemctl disable firewalld.service