在這裏我選用4臺機器進行示範，各臺機器的職責如下表格所示
（說明： 1. ZooKeepe使用其它節點的 2. Hadoop0節點安裝所有的master, ha的matster全部是worker, 以達到較高的資源利用率，又對master的負載不會過高）
Hadoop0 -> dchadoop206
Hadoop1 -> dchadoop207
Hadoop2 -> dchadoop208
Hadoop3 -> dchadoop209
1. 搭建自動HA
1.1. 複製編譯後的hadoop項目到/usr/local目錄下
1.2. 修改位於etc/hadoop目錄下的配置文件
1.1.1. hadoop-env.sh
export JAVA_HOME=/usr/local/jdk
1.1.1. core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://cluster1</value> </property>
【這裏的值指的是默認的HDFS路徑。當有多個HDFS集羣同時工作時，用戶如果不寫集羣名稱，那麼默認使用哪個哪？在這裏指定！該值來自於hdfs-site.xml中的配置。在節點hadoop0和hadoop1中使用cluster1，在節點hadoop2和hadoop3中使用cluster2】
<property> <name>hadoop.tmp.dir</name> <value>/data0/hadoop/tmp</value> </property>
【這裏的路徑默認是NameNode、DataNode、JournalNode等存放數據的公共目錄。用戶也可以自己單獨指定這三類節點的目錄。】
<property> <name>ha.zookeeper.quorum</name> <value>hadoop0:2181,hadoop1:2181,hadoop2:2181</value> </property>
【這裏是ZooKeeper集羣的地址和端口。注意，數量一定是奇數，且不少於三個節點】
</configuration>
1.1.1. hdfs-site.xml
該文件只配置在hadoop0和hadoop1上。
<configuration> <property> <name>dfs.replication</name> <value>2</value> </property>
【指定DataNode存儲block的副本數量。默認值是3個，我們現在有4個DataNode，該值不大於4即可。】
<property> <name>dfs.namenode.name.dir</name> <value>file:///data0/hadoop2/hdfs/name</value> </property>
【指定namenode元數據信息存儲位置】
<property> <name>dfs.datanode.data.dir</name> <value>file:///data0/hadoop2/hdfs/data,file:///data1/hadoop2/hdfs/data,file:///data2/hadoop2/hdfs/data,file:///data3/hadoop2/hdfs/data,file:///data4/hadoop2/hdfs/data,file:///data5/hadoop2/hdfs/data,file:///data6/hadoop2/hdfs/data,file:///data7/hadoop2/hdfs/data,file:///data8/hadoop2/hdfs/data,file:///data9/hadoop2/hdfs/data,file:///data10/hadoop2/hdfs/data</value> </property>
【指定datanode元數據信息存儲位置, 設置成所有的磁盤】
<property> <name>dfs.nameservices</name> <value>cluster1</value> </property>
【設置cluster1的namenode id。】
<property> <name>dfs.ha.namenodes.cluster1</name> <value>hadoop0,hadoop1</value> </property>
【指定NameService是cluster1時的namenode有哪些，這裏的值也是邏輯名稱，名字隨便起，相互不重複即可】
<property> <name>dfs.namenode.rpc-address.cluster1.hadoop0</name> <value>hadoop0:9000</value> </property>
【指定hadoop0的RPC地址】
<property> <name>dfs.namenode.http-address.cluster1.hadoop0</name> <value>hadoop0:50070</value> </property>
【指定hadoop0的http地址】
<property> <name>dfs.namenode.rpc-address.cluster1.hadoop1</name> <value>hadoop1:9000</value> </property>
【指定hadoop1的RPC地址】
<property> <name>dfs.namenode.http-address.cluster1.hadoop1</name> <value>hadoop1:50070</value> </property>
【指定hadoop1的http地址】
<property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster1</value> </property>
【指定cluster1的兩個NameNode共享edits文件目錄時，使用的JournalNode集羣信息】
<property> <name>dfs.ha.automatic-failover.enabled.cluster1</name> <value>true</value> </property>
【指定cluster1是否啓動自動故障恢復，即當NameNode出故障時，是否自動切換到另一臺NameNode】
<property> <name>dfs.client.failover.proxy.provider.cluster1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property>
【指定cluster1出故障時，哪個實現類負責執行故障切換】
<property> <name>dfs.journalnode.edits.dir</name> <value>/data0/hadoop2/hdfs/journal</value> </property>
【指定JournalNode集羣在對NameNode的目錄進行共享時，自己存儲數據的磁盤路徑】
<property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property>
【一旦需要NameNode切換，使用ssh方式進行操作】
<property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/root/.ssh/id_rsa</value> </property>
【如果使用ssh進行故障切換，使用ssh通信時用的密鑰存儲的位置】
</configuration>
1.2.4. slaves
hadoop1
hadoop2
hadoop2
1.3. 把以上配置的內容複製到hadoop1、hadoop2、hadoop3節點上
1.4. 修改hadoop1、hadoop2、hadoop3上的配置文件內容
1.4.1. 修改hadoop2上的core-site.xml內容
fs.defaultFS的值改爲hdfs://cluster2
1.4.1. 修改hadoop2上的hdfs-site.xml內容
把cluster1中關於journalnode的配置項刪除，增加如下內容
<property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster2</value> </property>
1.4.3. 開始啓動
1.4.3.1. 啓動journalnode
在hadoop0、hadoop1、hadoop2上執行
sbin/hadoop-daemon.sh startjournalnode
1.4.3.1. 格式化ZooKeeper
在hadoop0、hadoop2上執行
bin/hdfs zkfc -formatZK
zkCli.sh-->ls->/Hadoop-ha/cluster1
1.4.3.3. 對hadoop0節點進行格式化和啓動
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
1.4.3.4. 對hadoop1節點進行格式化和啓動
bin/hdfs namenode -bootstrapStandby
sbin/hadoop-daemon.sh start namenode
1.4.3.5. 在hadoop0、hadoop1上啓動zkfc
sbin/hadoop-daemon.sh start zkfc
我們的hadoop0、hadoop1有一個節點就會變爲active狀態。
1.4.3.6. 對於cluster2執行類似操作
1.4.4. 啓動datanode
在hadoop0上執行命令
sbin/hadoop-daemons.sh start datanode
1.5. 配置Yarn
1.5.1. 修改文件mapred-site.xml
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop0:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hadoop0:19888</value> </property> <property> <name>mapreduce.task.io.sort.factor</name> <value>20</value> <description>The number of streams to merge at once while sorting files. This determines the numberof open file handles.</description> </property> <property> <name>mapreduce.reduce.shuffle.parallelcopies</name> <value>40</value> <description>The default number of parallel transfers run byreduce during the copy(shuffle) phase. </description> </property> <property> <name>mapreduce.job.reduce.slowstart.completedmaps</name> <value>0.80</value> <description>Fraction of the number of maps in the job whichshould be complete before reduces are scheduled for the job. </description> </property> <property> <name>mapreduce.task.io.sort.mb</name> <value>300</value> <description>The total amount of buffer memory to use whilesorting files, in megabytes. By default,gives each merge stream 1MB, which should minimize seeks.</description> </property> <property> <name>mapreduce.map.output.compress</name> <value>true</value> <description>Should the outputs of the maps be compressed beforebeing sent across the network. UsesSequenceFile compression. </description> </property> <property> <name>mapreduce.client.submit.file.replication</name> <value>5</value> <description>默認10，The replication level for submitted job files. This should be around thesquare root of the number of nodes. </description> </property>
1.5.2. 修改文件yarn-site.xml
<property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property>
【打開resourcemanager ha模式】
<property> <name>yarn.resourcemanager.cluster-id</name> <value>yarn-ha-cluster</value> </property>
【打開resourcemanager ha的集羣名稱，這個名稱可以在zookeeper中查看】
<property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property>
【設置resourcemanager的id,可以與主機同名】
<property> <name>yarn.resourcemanager.hostname.rm1</name> <value>hadoop0</value> </property>
【指定rm1對應哪一臺主機】
<property> <name>yarn.resourcemanager.hostname.rm2</name> <value>hadoop1</value> </property>
【指定rm1對應哪一臺主機】
<property> <name>yarn.resourcemanager.zk-address</name> <value>zk1:2181,zk2:2181,zk3:2181</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!---用什麼方式進行數據傳遞-> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property>
【設置日誌合併】
<property> <name>yarn.application.classpath</name> <value> /usr/local/hadoop-2.5.0-cdh5.3.8/etc/hadoop, /usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/common/*, /usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/common/lib/*, /usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/hdfs/*, /usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/hdfs/lib/*, /usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/yarn/*, /usr/local/hadoop-2.5.0-cdh5.3.8/share/hadoop/yarn/lib/*, /usr/local/hbase-0.98.6-cdh5.3.8/lib/*, /usr/local/hadoop-2.5.0-cdh5.3.8/lib_dc/*, /usr/local/hbase-0.98.6-cdh5.3.8/conf/ </value> </property>
【設置classpath,沒有新增外部jar的話，不需要配這個】
<!--設置調度器類型爲CapacityScheduler， 默認是公平調度器--> <property> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value> </property> <!--設置nodemanager節點內存大小，CPU個數--> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>28672</value> </property>
【設置nodemanager節點內存大小 28G】
<property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>14</value> </property>
【設置nodemanager節點內存大小 14個core】
<property> <name>yarn.timeline-service.enabled</name> <value>true</value> </property>
【打開timeline服務】
1.5.3 修改環境變量（可以不改，使用默認配置）
1.5.3.1 修改 yarn-env.sh
YARN_LOG_DIR=/data0/hadoop2/logs
【修改yarn的日誌目錄，默認在$HADOOP_HOME/logs下】
1.5.3.2 修改hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_25
【修改jdk】
export HADOOP_LOG_DIR=/data0/hadoop2/logs
【修改hadoop的日誌目錄，默認在$HADOOP_HOME/logs下】
export HADOOP_PID_DIR=/data0/hadoop2/pid
【修改hadoop pid目錄】
1.5.5 修改capacity-scheduler.xml這個文件 （可選 ，設置調度器爲CapacityScheduler時，可以通過這個配置文件修改作業隊列）
<configuration> <!-- compare memroy only --> <property> <name>yarn.scheduler.capacity.resource-calculator</name> <value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value> </property> <!-- more chance for app master that will launch MR jobs --> <property> <name>yarn.scheduler.capacity.maximum-am-resource-percent</name> <value>0.9</value> </property>
【appMaster可以使用集羣多少資源】
<!-- 打開異步調度--> <property> <name>yarn.scheduler.capacity.schedule-asynchronously.enable</name> <value>true</value> </property> <!-- 定義隊列名稱queues,dev--> <property> <name>yarn.scheduler.capacity.root.queues</name> <value>default,dev</value> </property> <property> <name>yarn.scheduler.capacity.root.dev.capacity</name> <value>50</value> </property>
【設置隊列dev的能力大小佔集羣的50%】
<property> <name>yarn.scheduler.capacity.root.default.capacity</name> <value>50</value> </property>
【設置隊列default的能力大小佔集羣的50%】
</configuration>
1.5.4 啓動yarn
在hadoop0上執行
sbin/start-yarn.sh