如何將集羣文件轉換格式-shell指令將GBK文件轉成UTF-8的格式

DATE1=$1;
DATE2=$2;
hadoop fs -get /user/tianchao/BUS/2017data/$DATE1.csv ./SZT/ #從別人的集羣目錄下載文件到自己的本地文件夾
iconv -f gbk -t utf-8 -c ./SZT/$DATE1.csv -o ./SZT/$DATE2  #轉換格式
hadoop fs -copyFromLocal ./SZT/$DATE2/ ./SZT/  #上傳到集羣
rm -r ./SZT/$DATE2;  
rm -r ./SZT/$DATE1.csv; 
#刪除本地文件
#for i in {01..31};do sh ./sh/tran_format.sh 200_201707$i 201707$i;done #循環操作


本段代碼主要實現從集羣下載文件,然後在shell本地轉換格式。
將本段代碼保存爲tran_format.sh文件,在shell命令行輸入最後一行代碼即可實現批量轉換文件格式,並批量刪除轉換前不需要的文件

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章