原创 logstash jdbc全量更新與增量更新
在關係型數據同步到ES中，發現第一次同步時需要全量的數據，之後則需要定時去同步增量數據 全量更新: input { jdbc { #mysql 數據庫鏈接,dataassets爲數據庫名
2020-07-05 23:22:57
7
原创 Linux 文件已刪除但磁盤空間不釋放問題
Linux 磁盤空間總是報警，查到到大文件，刪除之後，df看到磁盤空間並沒有釋放。 解決方法: lsof | grep deleted 發現有大量剛剛刪除文件的進程存在，kill掉進程，空間就能得到釋放 如下圖，需要刪除的進程就
2020-07-05 23:22:57
原创 GitHub登錄不上解決辦法(絕對可行)
第一步： http://ping.chinaz.com/github.com Ping檢測Github 第二步:選擇最快節點添加hosts 第三步:添加Hosts
2020-07-02 15:07:47
原创 服務器安裝centOS7(以戴爾R730服務器爲例)
1、下載UltraISO https://cn.ultraiso.net/xiazai.html 2、下載對應centos鏡像文件 https://www.centos.org/download/ http://mirrors.a
2020-07-02 15:07:46
1
原创 flume採集多個文件夾日誌
在flume1.6版本及之前，如果想要監控多個目錄下的多個文件，可以使用Filelistener，在flume1.7之後，增加了TAILDIR，主要是監控文件的變化 參考配置: #配置Agent a1 的組件 a1.sources
2020-07-02 15:07:46
1
原创 phoenix報錯:Caused by: org.apache.hadoop.hbase.TableExistsException: SYSTEM.MUTEX 異常解決方法
1、異常如下: Setting property: [incremental, false] Setting property: [isolation, TRANSACTION_READ_COMMITTED] issuing: !
2020-06-19 08:18:41
原创 CentOS 6.5 配置YUM安裝Nginx
1、在/etc/yum.repos.d/目錄下創建一個源配置文件nginx.repo： cd /etc/yum.repos.d/ vim nginx.repo 2、填寫如下內容： [nginx] name=nginx repo
2020-06-19 08:18:41
原创 Linux 根目錄爆滿 解決
一、使用df -h命令查看，發現/根目錄的剩餘空間爲0。總共系統盤容量才20G。 文件系統 容量 已用 可用 已用% 掛載點 /dev/mapper/centos-root 20G
2020-06-19 02:18:41
8
原创 impala同步hive元數據
1、登錄impala-shell [root@node03 impala]# impala-shell Starting Impala Shell without Kerberos authentication Connected
2020-06-19 00:48:44
1
原创 TigerGraph圖數據庫安裝
單機版安裝 注意事項： 1、在安裝之前注意和TG內置服務有關的服務都要先停掉，不知道的，安裝過程中TG也會提示你需要停掉XX服務，例如kafka。 2、解壓文件 tar -zxvf tigergraph-2.4.0-develop
2020-06-19 00:48:44
原创 Linux安裝expect命令
第一種方式: yum install expect 第二種方式: 安裝Tcl: 下載源碼包: http://www.tcl.tk/software/tcltk/downloadnow84.tml http://nchc.dl.
2020-06-19 00:48:44
原创 phoenix報錯:org.apache.phoenix.exception.PhoenixIOException: SYSTEM.CATALOG 異常解決辦法
1、異常如下: Setting property: [incremental, false] Setting property: [isolation, TRANSACTION_READ_COMMITTED] issuing:
2020-06-18 23:05:07
原创 TigerGraph圖形化界面GraphStudio簡單操作
創建圖模型 圖模型由若干節點類型（vertex type）和若干邊類型（edge type）組成。可以指定邊類型的源節點類型（source vertex type）和目標節點類型（target vertex type）。圖模型是對
2020-06-18 23:05:07
原创 實現hive到hive數據遷移(同步)
背景: 存在某種情況，HIVE數據可能要從一個HDFS中，傳到另一個hdfs中。可以說是遷移，也可能是數據同步。 步驟: 假設有一張user表如下： CREATE TABLE `jc_db.t_user` ( `id` big
2020-06-18 23:05:07
原创 JDBC方式及HTTP方式訪問TigerGraph圖數據庫
JDBC方式: jdbc方式需要使用到此jar包: jar包下載地址:點擊此處下載 package com.tigerGraph.jdbc; import java.sql.Connection; import java.sq
2020-06-18 23:05:07