hadoop系統的端口

hadoop系統的端口

hadoop系統部署時用到不少端口。有的是Web UI所使用的，有的是內部通信所使用的，有的是監控所使用的。實際系統中可能用於防火牆的端口設計。一些內部通信用的端口可能也需要外部能訪問。如兩個集羣的數據對拷。

1.系統

8080，80 用於tomcat和apache的端口。

22 ssh的端口

 

2.Web UI

用於訪問和監控Hadoop系統運行狀態

	Daemon	缺省端口	配置參數
HDFS	Namenode	50070	dfs.http.address
	Datanodes	50075	dfs.datanode.http.address
	Secondarynamenode	50090	dfs.secondary.http.address
	Backup/Checkpoint node*	50105	dfs.backup.http.address
MR	Jobracker	50030	mapred.job.tracker.http.address
	Tasktrackers	50060	mapred.task.tracker.http.address
HBase	HMaster	60010	hbase.master.info.port
	HRegionServer	60030	hbase.regionserver.info.port
* hadoop 0.21以後代替secondarynamenode .

 

3.內部端口

Daemon	缺省端口	配置參數	協議	用於
Namenode	9000	fs.default.name	IPC: ClientProtocol	Filesystem metadata operations.
Datanode	50010	dfs.datanode.address	Custom Hadoop Xceiver: DataNodeand DFSClient	DFS data transfer
Datanode	50020	dfs.datanode.ipc.address	IPC:InterDatanodeProtocol,ClientDatanodeProtocol ClientProtocol	Block metadata operations and recovery
Backupnode	50100	dfs.backup.address	同 namenode	HDFS Metadata Operations
Jobtracker	9001	mapred.job.tracker	IPC:JobSubmissionProtocol,InterTrackerProtocol	Job submission, task tracker heartbeats.
Tasktracker	127.0.0.1:0*	mapred.task.tracker.report.address	IPC:TaskUmbilicalProtocol	和 child job 通信
* 綁定到未用本地端口

 4.相關產品端口

產品	服務	缺省端口	參數	範圍	協議	說明
HBase	Master	60000	hbase.master.port	External	TCP	IPC
	Master	60010	hbase.master.info.port	External	TCP	HTTP
	RegionServer	60020	hbase.regionserver.port	External	TCP	IPC
	RegionServer	60030	hbase.regionserver.info.port	External	TCP	HTTP
	HQuorumPeer	2181	hbase.zookeeper.property.clientPort		TCP	HBase-managed ZK mode
	HQuorumPeer	2888	hbase.zookeeper.peerport		TCP	HBase-managed ZK mode
	HQuorumPeer	3888	hbase.zookeeper.leaderport		TCP	HBase-managed ZK mode
	REST Service	8080	hbase.rest.port	External	TCP
	ThriftServer	9090	Pass -p <port> on CLI	External	TCP
	Avro server	9090	Pass –port <port> on CLI	External	TCP
Hive	Metastore	9083		External	TCP
	HiveServer	10000		External	TCP
Sqoop	Metastore	16000	sqoop.metastore.server.port	External	TCP
ZooKeeper	Server	2181	clientPort	External	TCP	Client port
	Server	2888	X in server.N=host:X:Y	Internal	TCP	Peer
	Server	3888	Y in server.N=host:X:Y	Internal	TCP	Peer
	Server	3181	X in server.N=host:X:Y	Internal	TCP	Peer
	Server	4181	Y in server.N=host:X:Y	Internal	TCP	Peer
Hue	Server	8888		External	TCP
	Beeswax Server	8002		Internal
	Beeswax Metastore	8003		Internal
Oozie	Oozie Server	11000	OOZIE_HTTP_PORT in oozie-env.sh	External	TCP	HTTP
	Oozie Server	11001	OOZIE_ADMIN_PORT in oozie-env.sh	localhost	TCP	Shutdown port

5.YARN(Hadoop 2.0)缺省端口

產品	服務	缺省端口	配置參數	協議
Hadoop YARN	ResourceManager	8032	yarn.resourcemanager.address	TCP
	ResourceManager	8030	yarn.resourcemanager.scheduler.address	TCP
	ResourceManager	8031	yarn.resourcemanager.resource-tracker.address	TCP
	ResourceManager	8033	yarn.resourcemanager.admin.address	TCP
	ResourceManager	8088	yarn.resourcemanager.webapp.address	TCP
	NodeManager	8040	yarn.nodemanager.localizer.address	TCP
	NodeManager	8042	yarn.nodemanager.webapp.address	TCP
	NodeManager	8041	yarn.nodemanager.address	TCP
	MapReduce JobHistory Server	10020	mapreduce.jobhistory.address	TCP
	MapReduce JobHistory Server	19888	mapreduce.jobhistory.webapp.address	TCP

 

6.第三方產品端口

ganglia用於監控Hadoop和HBase運行情況。kerberos是一種網絡認證協議，相應軟件由麻省理工開發。

產品	服務	安全	缺省端口	協議	訪問	配置
Ganglia	ganglia-gmond		8649	UDP/TCP	Internal
	ganglia-web		80	TCP	External	通過 Apache httpd
Kerberos	KRB5 KDC Server	Secure	88	UDP*/TCP	External	[kdcdefaults] 或 [realms]段下的kdc_ports 和 kdc_tcp_ports
	KRB5 Admin Server	Secure	749	TCP	Internal	Kdc.conf 文件：[realms]段kadmind_port

*缺省UDP協議

7.參考

https://ccp.cloudera.com/display/CDH4DOC/Configuring+Ports+for+CDH4