1 獲取默認配置
配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個配置文件，默認下來，這些配置文件都是空的，所以很難知道這些配置文件有哪些配置可以生效，上網找的配置可能因爲各個hadoop版本不同，導致無法生效。瀏覽更多的配置，有兩個方法:
1.選擇相應版本的hadoop,下載解壓後，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,這些就是默認配置,可以參考這些配置的說明和key，配置hadoop集羣。
2.瀏覽apache官網,三個配置文件鏈接如下:
http://hadoop.apache.org/common/docs/current/core-default.html
http://hadoop.apache.org/common/docs/current/hdfs-default.html
http://hadoop.apache.org/common/docs/current/mapred-default.html
這裏是瀏覽hadoop當前版本號的默認配置文件，其他版本號，要另外去官網找。其中第一個方法找到默認的配置是最好的，因爲每個屬性都有說明，可以直接使用。另外，core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分別是hdfs和mapred的局部配置。
2 常用的端口配置
2.1 HDFS端口
|
參數 |
描述 |
默認 |
配置文件 |
例子值 |
|
fs.default.name namenode |
namenode RPC交互端口 |
8020 |
core-site.xml |
hdfs://master:8020/ |
|
dfs.http.address |
NameNode web管理端口 |
50070 |
hdfs- site.xml |
0.0.0.0:50070 |
|
dfs.datanode.address |
datanode 控制端口 |
50010 |
hdfs -site.xml |
0.0.0.0:50010 |
|
dfs.datanode.ipc.address |
datanode的RPC服務器地址和端口 |
50020 |
hdfs-site.xml |
0.0.0.0:50020 |
|
dfs.datanode.http.address |
datanode的HTTP服務器和端口 |
50075 |
hdfs-site.xml |
0.0.0.0:50075 |
2.2 MR端口
|
參數 |
描述 |
默認 |
配置文件 |
例子值 |
|
mapred.job.tracker |
job-tracker交互端口 |
8021 |
mapred-site.xml |
hdfs://master:8021/ |
|
job |
tracker的web管理端口 |
50030 |
mapred-site.xml |
0.0.0.0:50030 |
|
mapred.task.tracker.http.address |
task-tracker的HTTP端口 |
50060 |
mapred-site.xml |
0.0.0.0:50060 |
2.3 其它端口
|
參數 |
描述 |
默認 |
配置文件 |
例子值 |
|
dfs.secondary.http.address |
secondary NameNode web管理端口 |
50090 |
hdfs-site.xml |
0.0.0.0:50090 |
|
|
|
|
|
|
|
|
|
|
|
|
3 三個缺省配置參考文件說明
3.1 core-default.html
|
序號 |
參數名 |
參數值 |
參數說明 |
|
1 |
hadoop.tmp.dir |
/tmp/hadoop-${user.name} |
臨時目錄設定 |
|
2 |
hadoop.native.lib |
true |
使用本地hadoop庫標識。 |
|
3 |
hadoop.http.filter.initializers |
|
http服務器過濾鏈設置 |
|
4 |
hadoop.security.group.mapping |
org.apache.hadoop.security. ShellBasedUnixGroupsMapping |
組內用戶的列表的類設定 |
|
5 |
hadoop.security.authorization |
false |
服務端認證開啓 |
|
6 |
hadoop.security.authentication |
simple |
無認證或認證設置 |
|
7 |
hadoop.security.token.service.use_ip |
true |
是否開啓使用IP地址作爲連接的開關 |
|
8 |
hadoop.logfile.size |
10000000 |
日誌文件最大爲10M |
|
9 |
hadoop.logfile.count |
10 |
日誌文件數量爲10個 |
|
10 |
io.file.buffer.size |
4096 |
流文件的緩衝區爲4K |
|
11 |
io.bytes.per.checksum |
512 |
校驗位數爲512字節 |
|
12 |
io.skip.checksum.errors |
false |
校驗出錯後是拋出異常還是略過標識。True則略過。 |
|
13 |
io.compression.codecs |
org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.SnappyCodec |
壓縮和解壓的方式設置 |
|
14 |
io.serializations |
org.apache.hadoop.io.serializer.WritableSerialization |
序例化和反序列化的類設定 |
|
15 |
fs.default.name |
file:/// |
缺省的文件URI標識設定。 |
|
16 |
fs.trash.interval |
0 |
文件廢棄標識設定，0爲禁止此功能 |
|
17 |
fs.file.impl |
org.apache.hadoop.fs.LocalFileSystem |
本地文件操作類設置 |
|
18 |
fs.hdfs.impl |
org.apache.hadoop.hdfs.DistributedFileSystem |
HDFS文件操作類設置 |
|
19 |
fs.s3.impl |
org.apache.hadoop.fs.s3.S3FileSystem |
S3文件操作類設置 |
|
20 |
fs.s3n.impl |
org.apache.hadoop.fs.s3native.NativeS3FileSystem |
S3文件本地操作類設置 |
|
21 |
fs.kfs.impl |
org.apache.hadoop.fs.kfs.KosmosFileSystem |
KFS文件操作類設置. |
|
22 |
fs.hftp.impl |
org.apache.hadoop.hdfs.HftpFileSystem |
HTTP方式操作文件設置 |
|
23 |
fs.hsftp.impl |
org.apache.hadoop.hdfs.HsftpFileSystem |
HTTPS方式操作文件設置 |
|
24 |
fs.webhdfs.impl |
org.apache.hadoop.hdfs.web.WebHdfsFileSystem |
WEB方式操作文件類設置 |
|
25 |
fs.ftp.impl |
org.apache.hadoop.fs.ftp.FTPFileSystem |
FTP文件操作類設置 |
|
26 |
fs.ramfs.impl |
org.apache.hadoop.fs.InMemoryFileSystem |
內存文件操作類設置 |
|
27 |
fs.har.impl |
org.apache.hadoop.fs.HarFileSystem |
壓縮文件操作類設置. |
|
28 |
fs.har.impl.disable.cache |
true |
是否緩存har文件的標識設定 |
|
29 |
fs.checkpoint.dir |
${hadoop.tmp.dir}/dfs/namesecondary |
備份名稱節點的存放目前錄設置 |
|
30 |
fs.checkpoint.edits.dir |
${fs.checkpoint.dir} |
備份名稱節點日誌文件的存放目前錄設置 |
|
31 |
fs.checkpoint.period |
3600 |
動態檢查的間隔時間設置 |
|
32 |
fs.checkpoint.size |
67108864 |
日誌文件大小爲64M |
|
33 |
fs.s3.block.size |
67108864 |
寫S3文件系統的塊的大小爲64M |
|
34 |
fs.s3.buffer.dir |
${hadoop.tmp.dir}/s3 |
S3文件數據的本地存放目錄 |
|
35 |
fs.s3.maxRetries |
4 |
S3文件數據的償試讀寫次數 |
|
36 |
fs.s3.sleepTimeSeconds |
10 |
S3文件償試的間隔 |
|
37 |
local.cache.size |
10737418240 |
緩存大小設置爲10GB |
|
38 |
io.seqfile.compress.blocksize |
1000000 |
壓縮流式文件中的最小塊數爲100萬 |
|
39 |
io.seqfile.lazydecompress |
true |
塊是否需要壓縮標識設定 |
|
40 |
io.seqfile.sorter.recordlimit |
1000000 |
內存中排序記錄塊類最小爲100萬 |
|
41 |
io.mapfile.bloom.size |
1048576 |
BloomMapFiler過濾量爲1M |
|
42 |
io.mapfile.bloom.error.rate |
0.005 |
|
|
43 |
hadoop.util.hash.type |
murmur |
缺少hash方法爲murmur |
|
44 |
ipc.client.idlethreshold |
4000 |
連接數據最小閥值爲4000 |
|
45 |
ipc.client.kill.max |
10 |
一個客戶端連接數最大值爲10 |
|
46 |
ipc.client.connection.maxidletime |
10000 |
斷開與服務器連接的時間最大爲10秒 |
|
47 |
ipc.client.connect.max.retries |
10 |
建立與服務器連接的重試次數爲10次 |
|
48 |
ipc.server.listen.queue.size |
128 |
接收客戶連接的監聽隊例的長度爲128 |
|
49 |
ipc.server.tcpnodelay |
false |
開啓或關閉服務器端TCP連接算法 |
|
50 |
ipc.client.tcpnodelay |
false |
開啓或關閉客戶端TCP連接算法 |
|
51 |
webinterface.private.actions |
false |
Web交互的行爲設定
|
|
52 |
hadoop.rpc.socket.factory.class.default |
org.apache.hadoop.net.StandardSocketFactory |
缺省的socket工廠類設置 |
|
53 |
hadoop.rpc.socket.factory.class.ClientProtocol |
|
與dfs連接時的缺省socket工廠類 |
|
54 |
hadoop.socks.server |
|
服務端的工廠類缺省設置爲SocksSocketFactory. |
|
55 |
topology.node.switch.mapping.impl |
org.apache.hadoop.net.ScriptBasedMapping |
|
|
56 |
topology.script.file.name |
|
|
|
57 |
topology.script.number.args |
100 |
參數數量最多爲100 |
|
58 |
hadoop.security.uid.cache.secs |
14400 |
|
3.2 hdfs-default.html
|
序號 |
參數名 |
參數值 |
參數說明 |
|
1 |
dfs.namenode.logging.level |
info |
輸出日誌類型 |
|
2 |
dfs.secondary.http.address |
0.0.0.0:50090 |
備份名稱節點的http協議訪問地址與端口 |
|
3 |
dfs.datanode.address |
0.0.0.0:50010 |
數據節點的TCP管理服務地址和端口 |
|
4 |
dfs.datanode.http.address |
0.0.0.0:50075 |
數據節點的HTTP協議訪問地址和端口 |
|
5 |
dfs.datanode.ipc.address |
0.0.0.0:50020 |
數據節點的IPC服務訪問地址和端口 |
|
6 |
dfs.datanode.handler.count |
3 |
數據節點的服務連接處理線程數 |
|
7 |
dfs.http.address |
0.0.0.0:50070 |
名稱節點的http協議訪問地址與端口 |
|
8 |
dfs.https.enable |
false |
支持https訪問方式標識 |
|
9 |
dfs.https.need.client.auth |
false |
客戶端指定https訪問標識 |
|
10 |
dfs.https.server.keystore.resource |
ssl-server.xml |
Ssl密鑰服務端的配置文件 |
|
11 |
dfs.https.client.keystore.resource |
ssl-client.xml |
Ssl密鑰客戶端的配置文件 |
|
12 |
dfs.datanode.https.address |
0.0.0.0:50475 |
數據節點的HTTPS協議訪問地址和端口 |
|
13 |
dfs.https.address |
0.0.0.0:50470 |
名稱節點的HTTPS協議訪問地址和端口 |
|
14 |
dfs.datanode.dns.interface |
default |
數據節點採用IP地址標識 |
|
15 |
dfs.datanode.dns.nameserver |
default |
指定DNS的IP地址 |
|
16 |
dfs.replication.considerLoad |
true |
加載目標或不加載的標識 |
|
17 |
dfs.default.chunk.view.size |
32768 |
瀏覽時的文件塊大小設置爲32K |
|
18 |
dfs.datanode.du.reserved |
0 |
每個卷預留的空閒空間數量 |
|
19 |
dfs.name.dir |
${hadoop.tmp.dir}/dfs/name |
存貯在本地的名字節點數據鏡象的目錄,作爲名字節點的冗餘備份 |
|
20 |
dfs.name.edits.dir |
${dfs.name.dir} |
存貯文件操作過程信息的存貯目錄 |
|
21 |
dfs.web.ugi |
webuser,webgroup |
Web接口訪問的用戶名和組的帳戶設定 |
|
22 |
dfs.permissions |
true |
文件操作時的權限檢查標識。 |
|
23 |
dfs.permissions.supergroup |
supergroup |
超級用戶的組名定義 |
|
24 |
dfs.block.access.token.enable |
false |
數據節點訪問令牌標識 |
|
25 |
dfs.block.access.key.update.interval |
600 |
升級訪問鑰時的間隔時間 |
|
26 |
dfs.block.access.token.lifetime |
600 |
訪問令牌的有效時間 |
|
27 |
dfs.data.dir |
${hadoop.tmp.dir}/dfs/data |
數據節點的塊本地存放目錄 |
|
28 |
dfs.datanode.data.dir.perm |
755 |
數據節點的存貯塊的目錄訪問權限設置 |
|
29 |
dfs.replication |
3 |
缺省的塊複製數量 |
|
30 |
dfs.replication.max |
512 |
塊複製的最大數量 |
|
31 |
dfs.replication.min |
1 |
塊複製的最小數量 |
|
32 |
dfs.block.size |
67108864 |
缺省的文件塊大小爲64M |
|
33 |
dfs.df.interval |
60000 |
磁盤空間統計間隔爲6秒 |
|
34 |
dfs.client.block.write.retries |
3 |
塊寫入出錯時的重試次數 |
|
35 |
dfs.blockreport.intervalMsec |
3600000 |
塊的報告間隔時爲1小時 |
|
36 |
dfs.blockreport.initialDelay |
0 |
塊順序報告的間隔時間 |
|
37 |
dfs.heartbeat.interval |
3 |
數據節點的心跳檢測間隔時間 |
|
38 |
dfs.namenode.handler.count |
10 |
名稱節點的連接處理的線程數量 |
|
39 |
dfs.safemode.threshold.pct |
0.999f |
啓動安全模式的閥值設定
|
|
40 |
dfs.safemode.extension |
30000 |
當閥值達到量值後擴展的時限 |
|
41 |
dfs.balance.bandwidthPerSec |
1048576 |
啓動負載均衡的數據節點可利用帶寬最大值爲1M |
|
42 |
dfs.hosts |
|
可與名稱節點連接的主機地址文件指定。 |
|
43 |
dfs.hosts.exclude |
|
不充計與名稱節點連接的主機地址文件設定 |
|
44 |
dfs.max.objects |
0 |
文件數、目錄數、塊數的最大數量 |
|
45 |
dfs.namenode.decommission.interval |
30 |
名稱節點解除命令執行時的監測時間週期 |
|
46 |
dfs.namenode.decommission.nodes.per.interval |
5 |
名稱節點解除命令執行是否完檢測次數 |
|
47 |
dfs.replication.interval |
3 |
名稱節點計算數據節點的複製工作的週期數. |
|
48 |
dfs.access.time.precision |
3600000 |
充許訪問文件的時間精確到1小時 |
|
49 |
dfs.support.append |
false |
是否充許鏈接文件指定 |
|
50 |
dfs.namenode.delegation.key.update-interval |
86400000 |
名稱節點上的代理令牌的主key的更新間隔時間爲24小時 |
|
51 |
dfs.namenode.delegation.token.max-lifetime |
604800000 |
代理令牌的有效時間最大值爲7天 |
|
52 |
dfs.namenode.delegation.token.renew-interval |
86400000 |
代理令牌的更新時間爲24小時 |
|
53 |
dfs.datanode.failed.volumes.tolerated |
0 |
決定停止數據節點提供服務充許卷的出錯次數。0次則任何卷出錯都要停止數據節點 |
3.3 mapred-default.html
|
序號 |
參數名 |
參數值 |
參數說明 |
|
1 |
hadoop.job.history.location |
|
作業跟蹤管理器的靜態歷史文件的存放目錄。 |
|
2 |
hadoop.job.history.user.location |
|
可以指定具體某個作業的跟蹤管理器的歷史文件存放目錄 |
|
3 |
mapred.job.tracker.history.completed.location |
|
已完成作業的歷史文件的存放目錄 |
|
4 |
io.sort.factor |
10 |
排完序的文件的合併時的打開文件句柄數 |
|
5 |
io.sort.mb |
100 |
排序文件的內存緩存大小爲100M |
|
6 |
io.sort.record.percent |
0.05 |
排序線程阻塞的內存緩存剩餘比率 |
|
7 |
io.sort.spill.percent |
0.80 |
當緩衝佔用量爲該值時，線程需要將內容先備份到磁盤中。 |
|
8 |
io.map.index.skip |
0 |
索引條目的間隔設定 |
|
9 |
mapred.job.tracker |
local |
作業跟蹤管理器是否和MR任務在一個進程中 |
|
10 |
mapred.job.tracker.http.address |
0.0.0.0:50030 |
作業跟蹤管理器的HTTP服務器訪問端口和地址 |
|
11 |
mapred.job.tracker.handler.count |
10 |
作業跟蹤管理器的管理線程數,線程數比例是任務管理跟蹤器數量的0.04 |
|
12 |
mapred.task.tracker.report.address |
127.0.0.1:0 |
任務管理跟蹤器的主機地址和端口地址
|
|
13 |
mapred.local.dir |
${hadoop.tmp.dir}/mapred/local |
MR的中介數據文件存放目錄 |
|
14 |
mapred.system.dir |
${hadoop.tmp.dir}/mapred/system |
MR的控制文件存放目錄 |
|
15 |
mapreduce.jobtracker.staging.root.dir |
${hadoop.tmp.dir}/mapred/staging |
每個正在運行作業文件的存放區 |
|
16 |
mapred.temp.dir |
${hadoop.tmp.dir}/mapred/temp |
MR臨時共享文件存放區 |
|
17 |
mapred.local.dir.minspacestart |
0 |
MR本地中介文件刪除時，不充許有任務執行的數量值。 |
|
18 |
mapred.local.dir.minspacekill |
0 |
MR本地中介文件刪除時，除非所有任務都已完成的數量值。 |
|
19 |
mapred.tasktracker.expiry.interval |
600000 |
任務管理跟蹤器不發送心跳的累計時間間隔超過600秒，則任務管理跟蹤器失效 |
|
20 |
mapred.tasktracker.resourcecalculatorplugin |
|
指定的一個用戶訪問資源信息的類實例 |
|
21 |
mapred.tasktracker.taskmemorymanager.monitoring-interval |
5000 |
監控任務管理跟蹤器任務內存使用率的時間間隔 |
|
22 |
mapred.tasktracker.tasks.sleeptime-before-sigkill |
5000 |
發出進程終止後，間隔5秒後發出進程消亡信號
|
|
23 |
mapred.map.tasks |
2 |
每個作業缺省的map任務數爲2 |
|
24 |
mapred.reduce.tasks |
1 |
每個作業缺省的reduce任務數爲1 |
|
25 |
mapreduce.tasktracker.outofband.heartbeat |
false |
讓在任務結束後發出一個額外的心跳信號 |
|
26 |
mapreduce.tasktracker.outofband.heartbeat.damper |
1000000 |
當額外心跳信號發出量太多時，則適當阻止
|
|
27 |
mapred.jobtracker.restart.recover |
false |
充許任務管理器恢復時採用的方式 |
|
28 |
mapred.jobtracker.job.history.block.size |
3145728 |
作業歷史文件塊的大小爲3M |
|
29 |
mapreduce.job.split.metainfo.maxsize |
10000000 |
分隔元信息文件的最大值是10M以下
|
|
30 |
mapred.jobtracker.taskScheduler |
org.apache.hadoop.mapred.JobQueueTaskScheduler |
設定任務的執行計劃實現類 |
|
31 |
mapred.jobtracker.taskScheduler.maxRunningTasksPerJob |
|
作業同時運行的任務數的最大值 |
|
32 |
mapred.map.max.attempts |
4 |
Map任務的重試次數 |
|
33 |
mapred.reduce.max.attempts |
4 |
Reduce任務的重試次數 |
|
34 |
mapred.reduce.parallel.copies |
5 |
在複製階段時reduce並行傳送的值。 |
|
35 |
mapreduce.reduce.shuffle.maxfetchfailures |
10 |
取map輸出的最大重試次數 |
|
36 |
mapreduce.reduce.shuffle.connect.timeout |
180000 |
REDUCE任務連接任務管理器獲得map輸出時的總耗時是3分鐘
|
|
37 |
mapreduce.reduce.shuffle.read.timeout |
180000 |
REDUCE任務等待map輸出數據的總耗時是3分鐘 |
|
38 |
mapred.task.timeout |
600000 |
如果任務無讀無寫時的時間耗時爲10分鐘，將被終止 |
|
39 |
mapred.tasktracker.map.tasks.maximum |
2 |
任管管理器可同時運行map任務數爲2 |
|
40 |
mapred.tasktracker.reduce.tasks.maximum |
2 |
任管管理器可同時運行reduce任務數爲2 |
|
41 |
mapred.jobtracker.completeuserjobs.maximum |
100 |
當用戶的完成作業數達100個後，將其放入作業歷史文件中 |
|
42 |
mapreduce.reduce.input.limit |
-1 |
Reduce輸入量的限制。 |
|
43 |
mapred.job.tracker.retiredjobs.cache.size |
1000 |
作業狀態爲已不在執行的保留在內存中的量爲1000 |
|
44 |
mapred.job.tracker.jobhistory.lru.cache.size |
5 |
作業歷史文件裝載到內存的數量 |
|
45 |
mapred.child.java.opts |
-Xmx200m |
啓動task管理的子進程時的內存設置 |
|
46 |
mapred.child.env |
|
子進程的參數設置 |
|
47 |
mapred.child.ulimit |
|
虛擬機所需內存的設定。 |
|
48 |
mapred.cluster.map.memory.mb |
-1 |
|
|
49 |
mapred.cluster.reduce.memory.mb |
-1 |
|
|
50 |
mapred.cluster.max.map.memory.mb |
-1 |
|
|
51 |
mapred.cluster.max.reduce.memory.mb |
-1 |
|
|
52 |
mapred.job.map.memory.mb |
-1 |
|
|
53 |
mapred.job.reduce.memory.mb |
-1 |
|
|
54 |
mapred.child.tmp |
/tmp |
Mr任務信息的存放目錄 |
|
55 |
mapred.inmem.merge.threshold |
1000 |
內存中的合併文件數設置 |
|
56 |
mapred.job.shuffle.merge.percent |
0.66 |
|
|
57 |
mapred.job.shuffle.input.buffer.percent |
0.70 |
|
|
58 |
mapred.job.reduce.input.buffer.percent |
0.0 |
|
|
59 |
mapred.map.tasks.speculative.execution |
true |
Map任務的多實例並行運行標識 |
|
60 |
mapred.reduce.tasks.speculative.execution |
true |
Reduce任務的多實例並行運行標識 |
|
61 |
mapred.job.reuse.jvm.num.tasks |
1 |
每虛擬機運行的任務數 |
|
62 |
mapred.min.split.size |
0 |
Map的輸入數據被分解的塊數設置 |
|
63 |
mapred.jobtracker.maxtasks.per.job |
-1 |
一個單獨作業的任務數設置 |
|
64 |
mapred.submit.replication |
10 |
提交作業文件的複製級別 |
|
65 |
mapred.tasktracker.dns.interface |
default |
任務管理跟蹤器是否報告IP地址名的開關 |
|
66 |
mapred.tasktracker.dns.nameserver |
default |
作業和任務管理跟蹤器之間通訊方式採用的DNS服務的主機名或IP地址 |
|
67 |
tasktracker.http.threads |
40 |
http服務器的工作線程數量 |
|
68 |
mapred.task.tracker.http.address |
0.0.0.0:50060 |
任務管理跟蹤器的http服務器的地址和端口 |
|
69 |
keep.failed.task.files |
false |
失敗任務是否保存到文件中
|
|
70 |
mapred.output.compress |
false |
作業的輸出是否壓縮 |
|
71 |
mapred.output.compression.type |
RECORD |
作業輸出採用NONE, RECORD or BLOCK三種方式中一種壓縮的寫入到流式文件 |
|
72 |
mapred.output.compression.codec |
org.apache.hadoop.io.compress.DefaultCodec |
壓縮類的設置 |
|
73 |
mapred.compress.map.output |
false |
Map的輸出是否壓縮 |
|
74 |
mapred.map.output.compression.codec |
org.apache.hadoop.io.compress.DefaultCodec |
Map的輸出壓縮的實現類指定 |
|
75 |
map.sort.class |
org.apache.hadoop.util.QuickSort |
排序鍵的排序類指定 |
|
76 |
mapred.userlog.limit.kb |
0 |
每個任務的用戶日誌文件大小 |
|
77 |
mapred.userlog.retain.hours |
24 |
作業完成後的用戶日誌留存時間爲24小時 |
|
78 |
mapred.user.jobconf.limit |
5242880 |
Jobconf的大小爲5M |
|
79 |
mapred.hosts |
|
可與作業管理跟蹤器連接的主機名 |
|
80 |
mapred.hosts.exclude |
|
不可與作業管理跟蹤器連接的主機名 |
|
81 |
mapred.heartbeats.in.second |
100 |
作業管理跟蹤器的每秒中到達的心跳數量爲100 |
|
82 |
mapred.max.tracker.blacklists |
4 |
任務管理跟蹤器的黑名單列表的數量 |
|
83 |
mapred.jobtracker.blacklist.fault-timeout-window |
180 |
任務管理跟蹤器超時180分鐘則訪任務將被重啓 |
|
84 |
mapred.jobtracker.blacklist.fault-bucket-width |
15 |
|
|
85 |
mapred.max.tracker.failures |
4 |
任務管理跟蹤器的失敗任務數設定 |
|
86 |
jobclient.output.filter |
FAILED |
控制任務的用戶日誌輸出到作業端時的過濾方式 |
|
87 |
mapred.job.tracker.persist.jobstatus.active |
false |
是否持久化作業管理跟蹤器的信息 |
|
88 |
mapred.job.tracker.persist.jobstatus.hours |
0 |
持久化作業管理跟蹤器的信息的保存時間 |
|
89 |
mapred.job.tracker.persist.jobstatus.dir |
/jobtracker/jobsInfo |
作業管理跟蹤器的信息存放目錄 |
|
90 |
mapreduce.job.complete.cancel.delegation.tokens |
true |
恢復時是否變更領牌 |
|
91 |
mapred.task.profile |
false |
任務分析信息是否建設標誌 |
|
92 |
mapred.task.profile.maps |
0-2 |
設置map任務的分析範圍 |
|
93 |
mapred.task.profile.reduces |
0-2 |
設置reduce任務的分析範圍 |
|
94 |
mapred.line.input.format.linespermap |
1 |
每次切分的行數設置 |
|
95 |
mapred.skip.attempts.to.start.skipping |
2 |
在跳轉模式未被設定的情況下任務的重試次數 |
|
96 |
mapred.skip.map.auto.incr.proc.count |
true |
MapRunner在調用map功能後的增量處理方式設置 |
|
97 |
mapred.skip.reduce.auto.incr.proc.count |
true |
在調用reduce功能後的增量處理方式設置 |
|
98 |
mapred.skip.out.dir |
|
跳過記錄的輸出目錄 |
|
99 |
mapred.skip.map.max.skip.records |
0 |
|
|
100 |
mapred.skip.reduce.max.skip.groups |
0 |
|
|
101 |
job.end.retry.attempts |
0 |
Hadoop償試連接通知器的次數 |
|
102 |
job.end.retry.interval |
30000 |
通知償試迴應的間隔操作爲30秒 |
|
103 |
hadoop.rpc.socket.factory.class.JobSubmissionProtocol |
|
指定與作業跟蹤管理器的通訊方式，缺省是採用rpc方式 |
|
104 |
mapred.task.cache.levels |
2 |
任務緩存級別設置 |
|
105 |
mapred.queue.names |
default |
分隔作業隊例的分隔符設定 |
|
106 |
mapred.acls.enabled |
false |
指定ACL訪問控制列表 |
|
107 |
mapred.queue.default.state |
RUNNING |
定義隊列的狀態 |
|
108 |
mapred.job.queue.name |
default |
已提交作業的隊列設定 |
|
109 |
mapreduce.job.acl-modify-job |
|
指定可修改作業的ACL列表 |
|
110 |
mapreduce.job.acl-view-job |
|
指定可瀏臨作業的ACL列表 |
|
111 |
mapred.tasktracker.indexcache.mb |
10 |
任務管理跟蹤器的索引內存的最大容器 |
|
112 |
mapred.combine.recordsBeforeProgress |
10000 |
在聚合處理時的記錄塊數
|
|
113 |
mapred.merge.recordsBeforeProgress |
10000 |
在彙總處理時的記錄塊數 |
|
114 |
mapred.reduce.slowstart.completed.maps |
0.05 |
|
|
115 |
mapred.task.tracker.task-controller |
org.apache.hadoop.mapred.DefaultTaskController |
任務管理器的設定 |
|
116 |
mapreduce.tasktracker.group |
|
任務管理器的組成員設定 |
|
117 |
mapred.healthChecker.script.path |
|
腳本的絕對路徑指定，這些腳本是心跳服務的 |
|
118 |
mapred.healthChecker.interval |
60000 |
節點心跳信息的間隔 |
|
119 |
mapred.healthChecker.script.timeout |
600000 |
|
|
120 |
mapred.healthChecker.script.args |
|
參數列表
|
|
121 |
mapreduce.job.counters.limit |
120 |
作業計數器的最小值 |
|
|
|
|
|
|
|
|
|
|