hdfs中央緩存Centralized Cache

HDFS中央緩存管理

HDFS提供了一個高效的緩存加速機制——Centralized Cache Management,可以將一些經常被讀取的文件(例如Hive中的fact表)pin到內存中。這些DataNode的緩存也是由NameNode所管理的(NameNode所管理的cache依然是以block形式,而DataNode也會定期向NameNode彙報緩存狀態),而客戶端可以高效得讀取被緩存的數據塊;爲了能鎖定內存,該實現依賴於JNI使用libhadoop.so,所以POSIX資源限制也要進行相應的設置(ulimit -l),並確保下面的參數被設置dfs.datanode.max.locked.memory

該參數用於確定每個DataNode給緩存使用的最大內存量。設置這個參數和ulimit -l時,需要注意內存空間還需要一些內存用於做其他事情,比如,DataNode和應用程序JVM堆內存、以及操作系統的頁緩存,以及計算框架的任務。所以不要使用太高的內存百分比

在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章