原创 shell腳本監控hadoop集羣，實現集羣組件宕機重啓
clusterMonitor.sh（主節點） #!/bin/bash echo '.......................................' QuorumPeerMain=$(jps | grep ' Quor
2020-06-16 12:57:59
原创 QT5.14.1生成動態鏈接庫
目錄 一、創建項目 1、創建 Libaray 項目 2、項目名稱 3、選擇語言 4、選擇編譯器 5、選擇版本控制器 二、編寫測試代碼 1、文件目錄 2、編寫 .h 文件 3、編寫 .cpp 文件 三、編譯項目 1、目錄下查看文件 2、取消
2020-06-16 12:57:59
原创 大數據庫入門之腳本批處理
1、執行批處理命令的腳本文件 all.sh mkdir -p /usr/shell/ cd /usr/shell/ touch /usr/shell/all.sh chmod 777 all.sh vim /usr/shell/all
2020-06-16 12:57:59
原创 三種方法實現Linux打印文件夾下所有文件的日期信息
1、Linux打印實現 ls --full-time -lt | tail -n -$(ls | wc -l) | awk '{print $6,$7}' 2、shell 腳本數組實現 echo "-----------------
2020-06-16 12:57:59
原创 Linux 安裝 python 3.6.10
下載文件（官方）：Python-3.6.10.tgz 1、解壓源文件 cd /usr/local/ tar zxvf /usr/local/Python-3.6.10.tgz -C /usr/local/ 2、安裝gcc編譯器 yum
2020-06-16 12:57:59
原创 shell腳本監控文件夾文件實現自動上傳數據到hive表
1、輸入字段，建hive表腳本 createtb.sh #!/bin/bash echo "---------createtb.sh--------------" #string="tablename;field1,field2,f
2020-06-16 12:57:59
原创 QT 5.14 dll 庫的生成和調用
QT 5.14 生成和調用動態鏈接庫 動態鏈接庫的生成和調用教程已經寫得非常詳細了，如果還是看不懂，....... 直接下載代碼吧，驗證環境是否正常，代碼是永
2020-06-16 12:57:59
原创 大數據生態圈技術文檔列表
hadoop：https://hadoop.apache.org/docs/ hive：https://cwiki.apache.org/confluence/display/Hive/GettingStarted hbase：htt
2020-06-16 12:57:59
原创 Java線程池對多個目錄下的相同文件按照時間順序合併
一、問題描述 存在若干個文件夾，文件夾名稱以年月爲名（一個月份一個文件夾） 例：201901，201902，202011，202012 每個文件夾下有上w個txt文件，文件名均爲9位數數字 例：204125631.txt，3151256
2020-06-16 12:57:59
1
原创 Java讀寫文件和Scala讀寫文件
Java實現 package com.xtd.test.java; import java.io.*; public class AppentFile { private static FileWriter fileWri
2020-06-16 12:57:59
原创 SparkSQL保存DataFrame爲CSV文件
ReadShipMMSITwo package com.xtd.file import java.io.File import org.apache.spark.rdd.RDD import org.apache.spark.s
2020-05-23 21:17:17
1
原创 CDH6.3.2 組件版本和Maven依賴版本
目錄 remote repository component version dependency template artifact version remote repository <project xmlns="http://m
2020-05-22 19:28:40
原创 hadoop集羣動態擴展節點
目錄 一、修改hostname 二、修改網絡配置 三、修改 hosts 文件 四、SSH免密登錄配置 五、修改zookeeper配置 六、修改hadoop配置 七、修改hbase配置 八、修改spark配置 一、修改hostname h
2020-05-22 19:28:40
原创 cdh6.3.2 配置 geomesa 環境變量
# /etc/profile # System wide environment and startup programs, for login setup # Functions and aliases go in /etc/b
2020-05-22 19:28:40
1
原创 Linux磁盤擴容（添加掛載點）
目錄 一、添加新磁盤 二、查看新掛載點 四、格式化分區 五、分區添加掛載點 一、添加新磁盤 二、查看新掛載點 查看已掛載點 df -h 查看所有掛載點 fdisk -l 三、爲掛載點創建分區 fdisk /dev/s
2020-05-22 19:28:40