用戶行爲數據採集 第 3 節 項目經驗之Hadoop參數調優

上篇：用戶行爲數據採集 第2節 基準測試

---

1、 HDFS參數調優hdfs-site.xml

（1）dfs.namenode.handler.count=20 * log2(Cluster Size)，比如集羣規模爲8臺時，此參數設置爲60

The number of Namenode RPC server threads that listen 
to requests from clients. If dfs.namenode.servicerpc-
address is not configured then Namenode RPC server 
threads listen to requests from all nodes.

NameNode有一個工作線程池，用來處理不同DataNode的併發心跳以及
客戶端併發的元數據操作。對於大集羣或者有大量客戶端的集羣來說，通
常需要增大參數dfs.namenode.handler.count的默認值10。設置該
值的一般原則是將其設置爲集羣大小的自然對數乘