原创 Neo4j在Linux服務器上的安裝
注意: Neo4j是基於Java的圖形數據庫，運行Neo4j需要啓動JVM進程，因此必須安裝JAVA SE的JDK。 下載安裝包: iunx環境Neo4j下載地址：https://neo4j.com/download/other-
2020-06-18 23:05:07
原创 使用kafka connect將MySQL數據導入kafka
1、kafka1.0版本以上(bin目錄包含connect，conf目錄包含connect) 2、下載kafka-connect-jdbc插件https://www.confluent.io/hub/ 解壓得到以下目錄結構:
2020-06-13 20:00:38
原创 Kafka介紹、安裝及使用
Apache Kafka 企業級消息隊列 2.Apache Kafka是什麼 是什麼？有什麼用？怎麼用？ 2.1簡介 1） Apache Kafka 是一個消息隊列（生產者消費者模式） 2） Apache Kafka 目標：構
2020-06-13 20:00:38
1
原创 flume實時採集MySQL數據到kafka
1、flume安裝(省略) 2、kafka安裝(省略) 3、需要用到插件flume-ng-sql-source (1)下載flume-ng-sql-source點擊下載 (2)將下載的jar包放到flume的lib目錄 注意:不同
2020-06-13 20:00:38
原创 內網服務器通過代理服務器訪問外網
背景 首先有兩臺服務器183和184，其中184無外網，183有外網。現在184服務器是無法訪問外網的，需要使用代理的方法讓184通過有外網的183訪問外網。 該操作一共可以分爲兩個部分：一、配置184代理 二、在服務器183上安
2020-05-23 23:17:47
原创 使用APIG從華爲數據中臺取數，保存到自己的Oracle數據庫中
APIG操作省略: 得到API的URL: https://25.36.xx.xx:8343/getapi/web maven依賴: <dependency> <groupId>org.apache.htt
2020-05-06 23:54:16
原创 presto安裝及查詢MySQL、Hive和Kafka
安裝presto 1、下載服務端和客戶端 服務端 https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.234/presto-server-0.234
2020-04-28 22:34:09
原创 數據質量校驗簡單設計思路
參考文檔:https://www.jianshu.com/p/2697687407a8 一些數據計算完畢後，我們需要知道計算結果是否符合預期，比如是否有髒數據，是否數據量符合預期。這裏就有兩個問題，一個是校驗什麼，另一個是怎麼校驗
2020-04-19 09:14:28
原创 Java代碼監控Hadoop集羣(支持HA集羣)
HDFS相關監控指標 public class HdfsSummary { //"name": "Hadoop:service=NameNode,name=NameNodeInfo" //總空間大小 GB
2020-04-19 09:14:28
原创 Java代碼監控Yarn頁面(包括各個Job的信息)
QueueMetrics public class QueueMetrics { private String modelerType; private String Queue; private Str
2020-04-19 09:14:28
原创 平臺系統集成Hadoop等組件日誌
實現的大致功能: 前端頁面點擊指定按鈕，可跳轉頁面，實現頁面查看Hadoop、kafka、HBASE等組件日誌; 大致思路: 1、設置httpd服務 yum -y install httpd service httpd star
2020-04-14 05:17:10
原创 Azkaban報錯:azkaban.executor.ExecutorManagerException: No active executors found
錯誤信息: 2020/04/09 09:33:47.591 +0800 INFO [ExecutorManager] [Azkaban] Initializing executors from database. 2020/04/
2020-04-11 05:09:58
原创 解決azkaban3.x執行job時一直處於preparing狀態問題
有兩種錯誤狀態: 1、job時一直處於preparing狀態問題，然後一會兒就報錯; 2、azkaban-exec/bin/logs/azkaban-webserver.log報錯: 2020/04/10 10:21:12.310
2020-04-11 05:09:58
12
原创 Java分批寫入大量數據到kafka，sparkStreaming實時消費kafka，完成數據下沉(Hive到Hive數據遷移/同步)
最近遇到這樣的一個場景: 存在兩個Hadoop集羣，需要將一個集羣中的hive數據傳輸到另一個集羣的hive中。且源端hive爲其他公司數據源，涉及到的一定的安全和保密性。 現大致思路爲: Java讀取源端hive—>我司kafk
2020-04-01 12:26:01
原创 使用Java代碼調用服務器shell腳本
shell腳本: #!/bin/bash num=$1 if [ $((num%2)) == 0 ];then echo "success"; else echo "error"; fi 連接shell腳本所在服務器:
2020-03-31 08:25:02