原创 linux用戶管理
1、用戶追加用戶分組 usermod -a -G group-dev user 2、添加用戶 useradd userxxx passwd -x 99999 userxxx usermod -a -G usergroup user
2019-08-09 19:35:49
原创 PyMySQL 安裝
1、pip3安裝 pip3 install PyMySQL 2、離線安裝 git clone https://github.com/PyMySQL/PyMySQL cd PyMySQL/ python3 setup.py inst
2019-07-06 19:27:04
原创 hadoop遷移
遷移namenode服務器步驟 一、包含服務 1、NameNode 2、resourceManager 3、JournalNode 4、zookeeper 5、ZKFC 二、前提檢查 1、檢查新服務器用戶名是否創建，hadoop
2019-06-10 22:11:59
原创 zookeeper在線熱遷移
1、條件 3臺zookeeper 2、停掉一臺 ./zkServer.sh stop 3、修改hostname,前提是zk配置都是通過hostname配置 4、拷貝 zookeeper ，同時拷貝數據目錄到新的機器相同的目錄上。 5、
2019-05-15 10:28:17
原创 安裝jenkins
1、下載最新的版本（一個 WAR 文件）。Jenkins官方網址: http://Jenkins-ci.org/ 2、命運行運行 java -jar jenkins.war （默認情況下端口是8080，如果要使用其他端口啓動，可以通過
2019-05-14 13:16:49
原创 hadoop相關操作
1、查看resourcemanager 狀態 yarn rmadmin -getServiceState ycluster-resourcemanager1 2、esourcemanager切換主從 yarn rmadmin -tra
2019-05-14 13:16:48
原创 git 強制覆蓋本地代碼
git強制覆蓋： git fetch --all git reset --hard origin/master git pull git強制覆蓋本地命令（單條執行）： git fetch --all && g
2019-04-17 19:18:47
原创 hadoop2.0集羣balancer
start-balancer.sh -threshold 5 -threshold 默認設置：10，參數取值範圍：0-100，參數含義：判斷集羣是否平衡的目標參數，每一個 datanode 存儲使用率和集羣總存儲使用率的差值都應該小於
2019-04-15 19:25:47
原创 HIVE json存儲-非法數據處理
存儲 1、將json數據以string 方式存儲在hive 中，然後比如使用LATERAL VIEW json_tuple的方法，獲取所需要的列名，或者 get_json_object(json,’$.id’) 的方式獲取數據。 2、
2019-04-12 19:34:21
原创 windows下編寫的shell腳本在linux上不可以執行
1、.sh文件的格式爲dos格式。而linux只能執行格式爲unix格式的腳本 2、因爲在dos/window下按一次回車鍵實際上輸入的是“回車（CR)”和“換行（LF）”，而Linux/unix下按一次回車鍵只輸入“換行（LF）”所
2019-03-29 19:25:37
原创 拷貝目錄,不拷貝文件
shell只拷貝目錄結構不拷貝文件 find local_dir -type d | sed 's/src/mkdir -p target_dir/' | sh
2019-03-29 19:25:16