原创 Oracle GoldenGate的使用——在安裝了kafka的目標端進行配置並測試實現Oracle數據同步至kafka
之前我已經安裝好了目標端的Oracle GoldenGate for Big Data。可以看這篇博客：Oracle Golden Gate(OGG)學習——目標端安裝Big Data Linux系統中先進入到OGG安裝的目錄，使用 gg
2020-07-08 02:11:12
21
原创 Logstash概念與原理
Logstash概念 Logstash是一款開源的數據收集引擎，具備實時管道處理能力。簡單來說，logstash作爲數據源與數據存儲分析工具之間的橋樑，結合ElasticSearch以及Kibana，能夠極大方便數據的處理與分析。通過20
2020-07-05 03:38:26
10
原创 ElasticSearch簡介（基本概念與索引）
Elasticsearch 是一個分佈式可擴展的實時搜索和分析引擎,一個建立在全文搜索引擎 Apache Lucene(TM) 基礎上的搜索引擎.當然 Elasticsearch 並不僅僅是 Lucene 那麼簡單，它不僅包括了全文搜索功
2020-07-05 03:38:26
原创 使用sqoop將mysql與Oracle中的數據按照日期與時間段分區存入hdfs中
今天遇到一個需求，這裏簡單介紹一下。原先把很多的信息都彙總到一個trace的表中，其中包括人臉識別後的對比數據、某學校卡口的進入車輛數據、訪客記錄、門禁刷卡記錄與一卡通消費記錄等，然後在HUE中新建一個WorkFlow，每天的凌晨進行增量
2020-06-23 09:20:58
8
原创 啓動idea後，打開項目不久後閃退
之前一段時間迴歸eclipse懷抱，後面項目需求要使用Kotlin。原來想eclipse中下kotlin的插件，但是後面報錯說版本不匹配： 沒辦法，只能試試在idea中打開了。 結果license過期了？？可能太久沒用了，然後找了一個可
2020-06-23 08:41:41
10
原创 Oracle GoldenGate的使用——在Windows源端增加配置管理、抽取、投遞進程並啓動測試
這裏測試ogg的源端與目標端的使用： 1、在源端Oracle創建測試的student數據表 CREATE TABLE "OGG"."student" ( "sid" NUMBER(8,0), "sname" VARC
2020-06-23 08:41:41
6
原创 Oracle Golden Gate(OGG)學習——源端安裝OGG （數據庫版本爲Oracle 10g）
GoldenGate軟件是一種基於日誌的結構化數據複製軟件。GoldenGate 能夠實現大量交易數據的實時捕捉、變換和投遞，實現源數據庫與目標數據庫的數據同步，保持亞秒級的數據延遲。 GoldenGate能夠支持多種拓撲結構，包括一對一
2020-06-23 08:41:40
13
原创 CDH中安裝kafka，創建Topic報錯Replication factor: 1 larger than available brokers: 0.系列問題解決【詳細步驟】
接下去需要通過kafka傳送數據，剛剛同事在cdh中新建的kafka，我想在裏面創建topic。直接上手： kafka-topics --zookeeper localhost:2181 --create -replication-fa
2020-06-23 08:41:40
1
原创 使用KONGA配置Elasticsearch中的數據爲API
前提條件： 首先要將Oracle的數據導入到Elasticsearch中。之前的步驟以及總結在下面的博客中：使用logstash將Oracle數據導入到Elasticsearch 一、在Elasticsearch中對以導入的表創建別名
2020-06-14 16:14:40
4
原创 使用logstash將Oracle數據導入到Elasticsearch
今天總結一下如何使用logstash將Oracle數據導入到Elasticsearch，然後後面會分享怎麼在KONGA中配置API接口給用戶。 首先要安裝好Logstash並且在服務端安裝好Elasticsearch！！然後開始操作： 1
2020-06-14 16:14:40
46
原创 Windows系統中完全卸載已安裝Oracle10g
1、在我的電腦右鍵點擊服務，然後在服務和應用程序--->中找到Oracle的服務。 將他們全部先關閉： 2、使用Universal Installer 啓動卸載 在開始目錄找到Oracle10g的安裝目錄，點擊Universal In
2020-06-02 22:45:17
2
原创 使用Oracle GoldenGate 創建復刻表時報錯 ERROR: No viable tables matched specification .
今天測試Oracle GoldenGate時參考了網上別人寫的博客，但是在創建復刻表時就報了 ERROR: No viable tables matched specification . 這個錯誤。 報錯提示說沒有符合規格的可行表格，
2020-06-01 21:52:08
原创 Oracle Golden Gate(OGG)學習——目標端安裝Big Data
項目需求： 要監聽Oracle10g的數據庫更新操作，將日誌信息傳輸到目標端中的kafka的topic中。這裏在目標端之前就已經安裝好了Zookeeper與Kafka。然後記錄一下安裝的目標端的Big Data步驟。 1、下載Oracle
2020-05-30 20:07:02
原创 如何啓動一個 kafka connector （步驟詳解+問題解決）
這裏前提條件是已經部署安裝了一個kafka連接器。我之前寫過一篇關於 kafka-connect-oracle 連接器例子部署的博客：連接器部署 最後編譯執行得到了一個jar包，放在指定路徑，然後這篇博客總結一下如何啓動一個kafka
2020-05-24 00:03:34
13
原创 kafka-connect-oracle 連接器安裝部署
由於業務需求，需要從Oracle數據庫中獲取某表的修改日誌信息。這裏講解一下在GitHub中kafka-connect-oracle 連接器的部署。 1、GitHub中下載項目 kafka-connect-oracle 2、添加配置 a
2020-05-19 03:43:47
30