Hadoop優化與調整

【io.file.buffer.size】(core-site.xml)

用來設置緩存的大小,較大的緩存提供更高效的數據傳輸,但也意味着更大的內存消耗和延遲

默認值爲4KB,一般情況下設置爲64KB(65536)

【dfs.balance.bandwidthPerSec】

HDFS平衡器檢測集羣中使用過度或者使用不足的DataNode,並在這些DataNode之間轉移數據塊來保證負載均衡。該參數定義了每個DataNode平衡操作所允許的最大使用帶寬,單位是byte,網絡帶寬單位一般是bit

【dfs.block.size】

默認值爲67108864,即64MB;參考值爲134217728(128M)

【dfs.DataNode.du.reserved】

由於mapred.local.dir經常與DataNode共享可用的硬盤資源,因此我們需要爲MapReduce任務保留一些硬盤資源。建議每個硬盤都爲map任務保留最小10GB的資源,即10737418240.

【dfs.NameNode.handler.count】

NameNode有一個工作線程池用來處理客戶端的遠程過程調用及集羣守護進程的調用。默認值爲10,一般講該值設置爲集羣大小的自然對數乘以20,即20logN。

該值設置過小明顯的症狀就是DataNode在連接NameNode的時候總是超時或者連接被拒

【dfs.DataNode.failed.volumes.tolerated】

當DataNode的任意一個本地磁盤故障時,默認認定整個DataNode失效。該參數默認值爲0,意味着只要有一個磁盤出現故障就會導致整個DataNode 不可用。參考值爲1

【dfs.hosts】

通過含有DataNode主機名列表的文件來確認允許連接並加入集羣的DataNode

【dfs.host.exclude】

把相關節點排除在HDFS外,可卸載DataNode

【fs.trash.interval】(core-site.xml)

定義.Trash目錄下文件被永久刪除前保留的時間(分鐘數),默認爲0,即垃圾回收站功能關閉,參考值爲1440(24小時)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章