./hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot "MODEL.THIRD_PARTY_KV-11211752-snapshot" -copy-from hdfs://fromIP:9000/hbase -copy-to hdfs://toIP:9000/hbase -mappers 40 -bandwidth 300
錯誤日誌;
org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException:No lease on /hbase/archive/data/... File is not open for writing
原因及解決方法
調整HDFS中配置參數dfs.datanode.max.transfer.threads，默認爲4096過小。
最大傳輸線程數:參數是一起配置的爲: dfs.datanode.max.transfer.threads對於datanode來說，就如同linux上的文件句柄的限制，當datanode 上面的連接數操作配置中的設置時，datanode就會拒絕連接。 一般都會將此參數調的很大，40000+左右。確保Linux配置正確
減小mapper的數量，以減少hadoop打開文件數
./hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot "MODEL.THIRD_PARTY_KV-11211752-snapshot" -copy-from hdfs://fromIP:9000/hbase -copy-to hdfs://toIP:9000/hbase -mappers 15 -bandwidth 300