原创 Hadoop2.6 Balance運行速度優化
Hadoop的HDFS集羣非常容易出現機器與機器之間磁盤利用率不平衡的情況，比如集羣中添加新的數據節點。當HDFS出現不平衡狀況的時候，將引發很多問題，比如MR程序無法很好地利用本地計算的優勢，機器之間無法達到更好的網絡帶寬使用率
2020-06-23 08:25:37
原创 saltstack——主機改名
已存在salt中的機器，爲了規範，有時候需要將這批主機改名，但改完名之後，salt是需要清除緩存的。 操作流程：在master把這批機器剔除；然修改這批機器的主機名、在/etc/salt目錄下、用mv把minion_id和pki的目錄重命
2020-06-23 08:25:37
原创 fsimage開啓壓縮
當一個hdfs集羣比較大的時候，fsimage過大，會導致主備集羣之間的複製流量過大，需要開啓壓縮。 vim hdfs-site.xml <property> <name>dfs.image.compress</name> <va
2020-06-23 08:25:27
原创 Linux常見問題彙總
1.文件刪除後句柄沒釋放導致磁盤空間無法釋放的解決方法 執行以下命令，找到進程號和文件描述符： lsof |grep delete 然後清空文件： > /proc/進程號/fd/文件描述符 查看磁盤空間會立即釋放 2.yum卡住/rp
2020-06-23 08:25:27
1
原创 hbase性能壓測
環境準備 工具準備：ycsb 數據準備：usertable 100 個region 並灌入數據。 hbase shell>n_splits=100 hbase she
2020-06-23 08:25:27
原创 Hbase集羣間數據遷移
背景： 有兩個集羣（cluster-a,cluster-b），需要將cluster-a集羣的兩張表(table1,table2)遷移到cluster-b集羣。 hbase版本號：1.2.6 遷移方法： 使用snapshot方法 遷移步驟：
2020-06-23 08:25:26
原创 解決hadoop2.6.5一臺機器多塊盤存儲不均問題
在hadoop2.6.5，datanode數據存儲盤選擇策略有兩種方式複製： 首先是要遵循hadoop1.0磁盤文件夾投票，實現類：RoundRobinVolumeChoosingPolicy.java 另外一種是選擇可用空間足夠多的磁盤
2020-06-02 08:40:59
1
原创 JVM中的ExplicitGCInvokesConcurrent選項
問題描述： 最近經常收到Hbase的FGC報警，但看gc日誌如下： 2019-12-24T14:33:12.332+0800: 9446402.403: [Full GC (System.gc()) 2019-12-24T14:33:1
2020-02-24 12:47:19
原创 zookeeper超時經驗總結
問題描述 在運維Hbase集羣的時候，經常遇到RS進程宕掉的情況，連接zk客戶端的超時時間sessionTimeout設置爲180秒，查看FGC時間只有40s，爲什麼進程會被Kill？ 其實只這麼設置根本沒有任何作用，因爲客戶端將
2020-02-24 12:47:19
1
原创 kubenetes實驗記錄
安裝kubectl curl -LO "https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/
2020-02-24 12:47:19
原创 ranger部署
Ranger部署 1.修改初始化配置文件 ： sudo su - app cd /data/users/app/ranger-admin vim install.properties 2.mysql授權 #my 3306 >creat
2019-10-26 08:19:06
原创 hadoop2.6的datanode多存儲硬盤設置數據副本存放策略
集羣中每臺機器使用12塊硬盤，部分節點少數盤使用率超過90%，其它盤只有80%，即所有盤使用不均衡，如果不做特殊設置，一臺機器整體使用空間還有的情況下，部分磁盤可能已經100%了。如何避免這個問題？ 在hadoop2.6中，datanod
2019-10-26 08:19:06
原创 Hadoop datanode節點退役遇到的坑
問題描述： 當前集羣7臺機器，需要退役掉其中的3臺，退役了一天，發現block數不變，於是查看namenode日誌，發現以下信息： 2019-10-17 17:29:25,177 WARN org.apache.hadoop.hdfs.
2019-10-26 08:19:06
7
原创 yz-ycsb壓測hbase記錄
環境準備 數據準備：usertable 100 個region 並灌入數據。 hbase shell>n_splits=100 hbase shell> create
2019-08-03 06:34:44
原创 Yarn resourcemanager運維記錄
Yarn resourcemanager運維記錄： sudo su - huser yarn-daemon.sh stop resourcemanager;yarn-daemon.sh start resourcemanager 主res
2019-08-02 06:58:03