HDFS
|
參數 |
描述 |
默認 |
配置文件 |
例子值 |
|
fs.default.name NameNode |
NameNode RPC交互端口 |
8020 |
core-site.xml |
hdfs://master:8020/ |
|
dfs.http.address |
NameNode web管理端口 |
50070 |
hdfs-site.xml |
0.0.0.0:50070 |
|
dfs.DataNode .address |
DataNode 控制端口 |
50010 |
hdfs-site.xml |
0.0.0.0:50010 |
|
dfs.DataNode .ipc.address |
DataNode 的RPC服務器地址和端口 |
50020 |
hdfs-site.xml |
0.0.0.0:50020 |
|
dfs.DataNode .http.address |
DataNode 的HTTP服務器和端口 |
50075 |
hdfs-site.xml |
0.0.0.0:50075 |
MapReduce
|
參數 |
描述 |
默認 |
配置文件 |
例子值 |
|
mapred.job.tracker |
job-tracker交互端口 |
8021 |
mapred-site.xml |
hdfs://master:8021/ |
|
job |
tracker的web管理端口 |
50030 |
mapred-site.xml |
0.0.0.0:50030 |
|
mapred.task.tracker.http.address |
task-tracker的HTTP端口 |
50060 |
mapred-site.xml |
0.0.0.0:50060 |
yarn
下面代碼涉及到的縮寫：
RM ：ResourceManager
AM ：ApplicationMaster
NM ：NodeManager
|
參數 |
默認值 |
描述 |
|
yarn.resourcemanager.hostname |
|
RM的hostname |
|
yarn.resourcemanager.address |
${yarn.resourcemanager.hostname}:8032 |
RM對客戶端暴露的地址，客戶端通過該地址向RM提交應用程序等 |
|
yarn.resourcemanager.scheduler.address |
${yarn.resourcemanager.hostname}:8030 |
RM對AM暴露的地址，AM通過地址想RM申請資源，釋放資源等 |
|
yarn.resourcemanager.webapp.address |
${yarn.resourcemanager.hostname}:8088 |
RM對外暴露的web http地址，用戶可通過該地址在瀏覽器中查看集羣信息 |
|
yarn.resourcemanager.webapp.https.address |
${yarn.resourcemanager.hostname}:8090 |
web https 地址 |
|
yarn.resourcemanager.resource-tracker.address |
${yarn.resourcemanager.hostname}:8031 |
RM對NM暴露地址，NM通過該地址向RM彙報心跳，領取任務等 |
|
yarn.resourcemanager.resource-tracker.client.thread-count |
50 |
處理來自NM的RPC請求的handler數 |
|
yarn.resourcemanager.admin.address |
${yarn.resourcemanager.hostname}:8033 |
管理員可以通過該地址向RM發送管理命令等 |
|
yarn.resourcemanager.scheduler.class |
org.apache.hadoop.yarn.server.resourcemanager .scheduler.capacity.CapacityScheduler |
資源調度器主類 |
|
yarn.resourcemanager.scheduler.client.thread-count |
50 |
處理來自AM的RPC請求的handler數 |
|
yarn.scheduler.minimum-allocation-mb |
1024 |
可申請的最少內存資源，以MB爲單位 |
|
yarn.scheduler.maximum-allocation-mb |
8192 |
可申請的最大內存資源，以MB爲單位 |
|
yarn.scheduler.minimum-allocation-vcores |
1 |
可申請的最小虛擬CPU個數 |
|
yarn.scheduler.maximum-allocation-vcores |
32 |
可申請的最 大虛擬CPU個數 |
|
yarn.nodemanager.local-dirs |
${hadoop.tmp.dir}/nm-local-dir |
中間結果存放位置，可配置多目錄 |
|
yarn.log-aggregation-enable |
false |
是否啓用日誌聚合 |
|
yarn.nodemanager.remote-app-log-dir |
/tmp/logs |
日誌聚合目錄 |
|
yarn.nodemanager.resource.memory-mb |
8192 |
NM總的可用物理內存，以MB爲單位。一旦設置，不可動態修改 |
|
yarn.nodemanager.resource.cpu-vcores |
8 |
可分配的CPU個數 |
|
yarn.nodemanager.aux-services |
|
NodeManager上運行的附屬服務。需配置成mapreduce_shuffle，纔可運行MapReduce程序 |
jobhistoryserver
jobhistoryserver的默認值我們可以在mapred-site.xml文件中進行修改
|
參數 |
默認值 |
描述 |
|
mapreduce.jobhistory.address |
0.0.0.0:10020 |
JobHistory服務器IPC 主機：端口 |
|
mapreduce.jobhistory.webapp.address |
0.0.0.0:19888 |
obHistory服務器Web UI地址，用戶可根據該地址查看Hadoop歷史作業情況 |
|
mapreduce.jobhistory.done-dir |
${yarn.app.mapreduce.am.staging-dir}/history/done |
在什麼目錄下存放已經運行完的Hadoop作業記錄 |
|
mapreduce.jobhistory.intermediate-done-dir |
${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate |
正在運行的Hadoop作業記錄 |
- 歷史作業記錄是存放在HDFS目錄中;
- 由於歷史作業記錄可能非常多，所以歷史作業記錄是按照年/月/日的形式分別存放在相應的目錄中，這樣便於管理和查找;
- 對於每一個Hadoop歷史作業記錄相關信息都用兩個文件存放，後綴名分別爲*.jhist，*.xml，其中：
- *.jhist文件裏存放的是具體Hadoop作業的詳細信息
- *.xml文件裏面記錄的是相應作業運行時候的完整參數配置
- 每一個作業的歷史記錄都存放在一個單獨的文件中
其它端口
|
參數 |
描述 |
默認 |
配置文件 |
例子值 |
|
dfs.secondary.http.address |
secondary NameNode web管理端口 |
50090 |
hdfs-site.xml |
0.0.0.0:50090 |
9083端口：
9083端口號是hive數據倉庫元數據metastore的端口號
當在配置hive客戶端的時候，需要在hive-site.xml文件下加上hive的端口號和服務端的信息（當然在配置服務端的時候，因爲表示建在HDFS上Linux系統的mys下ql中的，需要配置mysql的信息）
```xml
<property>
<name>hive.metastore.uris</name>
<value>thrift://192.168.57.5:9083</value>
</property>
```
2181
2181是zookeeper的端口號：
```xml
<property>
<name>ha.zookeeper.quorum</name>
<value>node02:2181,node03:2181,node04:2181</value>
</property>
```
6379
6379：Redis的端口號
60010
60010：HBASE的端口號
9092
9092：kafka的端口號
41414
41414：flume監控的端口