Hadoop學習筆記（十二）---hadoop配置文件詳解

關於conf/core-site.xml, conf/hdfs-site.xml,conf/mapred-site.xml的配置作如下說明：

conf/core-site.xml配置如下：

fs.default.name : NameNode的ip地址及其端口 

hadoop.tmp.dir : 指定臨時文件的目錄

---

conf/hdfs-site.xml配置如下:

dfs.replication : 備份數據的數量，默認是3，也就是會有三份數據

dfs.name.dir : NameNode存儲名字空間及彙報日誌的位置

dfs.data.dir : DataNode存儲數據塊的位置

---

conf/mapred-site.xml配置如下：

mapreduce.job.tracker : jobtracker的ip地址及端口

mapreduce.jobtracker.system.dir : MapReduce在HDFS上存儲文件的位置，例如/hadoop/mapred/system

mapreduce.cluster.local.dir : MapReduce的緩存數據存儲在文件系統中的位置

mapred.tasktracker.{map|reduce}.tasks.maxium : 每臺TaskTracker所運行的map或者reduce的task的最大數量

dfs.hosts/dfs.hosts.exclude : 允許或者禁止的DataNode列表

mapreduce.jobtracker.hosts.filename/
mapreduce.jobtracker.hosts.exclude.filename :允許或者禁止的TaskTrackers列表

mapreduce.cluster.job-authorization-enabled : 布爾類型，表示job存取控制列表是否支持對job的觀察和修改

---

conf/Hadoop-env.sh 配置如下：

export JAVA_HOME=/usr/local/jdk  指定java路徑

---

conf.masters配置如下：

hadoop1 secondNameNode所運行的位置

---

conf/slaves配置如下：

hadoop1
hadoop2  datanode和tasktracker的位置