原创 將hive的數據導出成一個文件並且下載在一臺機器上
之前使用的方法一直都不好然後就去查一些資料後發現這種方法最好而且省事情。 hdfs dfs -getmerge hdfs://nameservice1/user/hive/warehouse/app.db/app_hjdper_r
2020-06-24 05:09:09
原创 Connected to . 421 Service not available. ftp出現連接不上的異常
記錄一下這個錯誤。 連接這一臺FTP時出現了FTP連接不上的錯誤。通過查看相關配置文件/etc/hosts.allow 發現限制中沒有這臺機器的權限。 添加之後恢復正常
2020-06-24 05:09:09
原创 Hbase 根據數據入庫時間戳查詢入庫數量
查詢多個版本的數據 scan 'user', {RAW => true, VERSIONS => 10} 查詢表中的數據的時候限定是否獲取歷史版本。可以看到不同時間檢查的版本。 根據時間錯查詢入庫的條數 目前無法直接通過cou
2020-06-24 05:09:09
原创 採用hive自帶的方法生成Hfile，並將上億大數據量導入HBASE
採用hive自帶的方法生成Hfile，並將上億大數據量導入HBASE 1.0引入Hbase自帶的jar 由於採用CDH6.1的版本，hive直接使用Hbase方法會出現異常，hive採用hbase的方法，故需要將對應Hbase中的
2020-06-24 05:09:09
原创 大學什麼樣，工作就會什麼樣
大學什麼樣，工作就會什麼樣 雖然已經畢業2年多了，但是感覺還是設麼都不會啊。在大學的時候也想過要好好地學習，例如主動的去學習java之類的，但是也是僅僅是看了一下就過了，偶爾能看完網上的視頻也是僅僅限於此而已。 現
2020-02-20 23:52:31
原创 hadoop distcp Invalid arguments:錯誤解決辦法
19/11/15 18:32:50 ERROR tools.DistCp: Invalid arguments: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.i
2020-02-20 23:52:31
1
原创 escheduler 出現$HADOOP_HOME 異常
在shell中執行hive等相關命令，出現環境變量的問題 [INFO] 2019-10-28 11:23:19.624 cn.escheduler.server.worker.log.TaskLogger:[178] - [t
2020-02-20 23:52:31
原创 JAVA 遠程連接Hbase需要開通的網絡端口
今天突然要把後端和數據庫分離，所以就遇到了這個問題，網絡一直調不通 Caused by: java.net.SocketTimeoutException: callTimeout=60000, callDuration=67926
2020-02-20 23:52:31
原创 Impala簡單查詢hive與Hbase效率
簡單對比測試Impala查詢hive和hbase 在hive和hbase中插入同樣的數據73億條。 1. 測試查詢100條數據 在impala中查詢hbase的100條數據，花費了6秒左右。 直接在hbase中查詢花費0.3秒
2020-02-20 23:52:31
原创 nginx 重新部署，使用了新的用戶時出現了權限異常
nginx 重新部署，使用了新的用戶時出現了權限異常 之前已經通過一個用戶ROOT進行部署了nginx，之後發現切換用戶之後無法啓動。出現了nginx默認相關配置異常的情況。 [sjzl@localhost nginx]$ ./n
2020-02-20 23:52:21
原创 hadoop 採用distcp命令進行導數據，解決namenode節點切換導致的異常
使用distcp命令 hadoop distcp -overwrite hdfs://namenode1:8020/tmp/T_PUBLIC_OPINIONS_INFO hdfs://namenode11.201/tmp/T_P
2020-02-20 23:52:21
原创 大數據技術在P2P監測系統的應用和實踐
【摘 要】：近年來，隨着互聯網金融行業的迅猛發展，P2P平臺數量激增如雨後春筍般涌現，雖然推動了互聯網金融生態系統的形成並促進了金融服務的繁榮。但是由於缺乏對互聯網金融行業風險的有效控制，導致P2P行業屢屢發生倒閉、跑路、兌付危
2020-02-20 23:52:20
原创 使用HIVE 自帶的JSON 函數進行json解析 同時解析JSON數組
數據展示 這是遺傳JSON字符串 ，是一個還款計劃，其中包含了很多的還款計劃。 {"plan":[{"principal":"1114.09","interest":"489.14","date":"2018-11-02"},{"
2020-02-20 23:52:20
原创 easyscheduler 定時調度使用方法
1.設置定時任務 之前使用easyscheduler做設置定時調度時出現每秒執行一次了，不清楚爲什麼，故留作記錄。 2.注意 設置定時任務時需要先調整秒的配置，例如每5分鐘一次的調度，需要先將秒的調度設置爲如下圖所示，不可
2019-10-25 15:57:46
原创 MYSQL獲取最近7天的日期
** 寫一個簡單的 獲取最近7填日期的sql ** select DATE_SUB(curdate(),INTERVAL -1 DAY) day1 union select DATE_SUB(curdate(),INTERVAL
2019-10-25 15:57:46