hbase入庫效率提升研究(二)

接着前一篇文章所說,在hbase入庫效率上有較大作用的幾個因素

 

一、writebuffersize大小的設置,太大和太小都會使速度下降。原因是太大每次提交數量大,提交頻度下降;太小每次提交數量小,提交頻度高。按照目前的測試結果來看64MB是一個理想值

 

二、硬盤配置,在底層的hadoop上不要對硬盤做raid,能夠充分利用每塊磁盤的使用效率

 

三、regionserver的flush大小,region最大size。這裏flushsize儘量配大,4G,region最大size可以配很大,使得region儘量不去分裂

 

四、關閉wal,在測試的時候居然發現速度下降,具體原因還不清楚。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章