原创 alibaba-canal數據對象格式簡介
阿里github示例 Entry Header logfileName [binlog文件名] logfileOffset [binlog position]
原创 使用alibaba-DruidPool出現拒絕創建連接對象
場景 在做sparkstreaming業務時,對接kafka數據源,用到了手動提交offset,利用mysql存放offset! 在分區內創建獲取德魯伊連接池裏的連接對象。一直獲取不到connection,報錯信息如下 lin
原创 理解Scala中的值調用和名調用以及惰性求值
package com.zhengkw.scala.day03Exc /** * @ClassName:Call * @author: zhengkw * @description: * @date: 20/04/23下
原创 清理maven倉庫中的lastUpdated文件
@echo off rem set REPOSITORY_PATH=E:\repository rem for /f “delims=” %%i in (‘dir /b /s “%REPOSITORY_PATH%*lastUpda
原创 Scala兩種遞歸方式(尾遞歸和普通遞歸)實現 n!
package com.zhengkw.scala.day06Exc /** * @ClassName:Stratum1 * @author: zhengkw * @description: * @date: 20/0
原创 My id 0 not in the peer list
前言 集羣使用外部的zk來管理所有的選舉和通訊的,hbase內嵌了一個zk。每次運行hbase後,我的外部zk進程就會掛掉。取而代之的是一個名字叫做HQuorumPeer的進程! 名字是不是很眼熟。和我們的外部zk進程就多了個H?
原创 Elasticsearch (ES)+Kibana簡單使用
前言 es是一個強大的搜索引擎,目前知名公司內部都在使用! 因爲Elasticsearch 是一個基於 Apache Lucene™ 的開源搜索引擎。無論在開源還是專有領域,Lucene 可以被認爲是迄今爲止最先進、性能最好的、功
原创 查詢hadoop集羣中各個組件的版本方法(更新ing)
Zookeeper sudo echo stat|nc localhost 2181
原创 SpringBoot程序中使用log4j,打印日誌生成文件失效!
前言 第一次玩SpringBoot,想將日誌信息打印,log4j的依賴也成功添加了。然而在進行打印的時候居然沒有達到預期!十分無奈,好不容易找到問題了,現在做個mark,記錄下這個注意事項,以後防止再踩一次! log4j配置 #打
原创 腳本中使用ssh命令執行遠程命令注意事項
shell命令中的空格問題(用ssh執行) ①如果shell命令中有空格,可以使用單引號或雙引號引起來 ②單引號不會識別特殊符號,而雙引號會識別特殊符號,而雙引號會識別特殊符號,而雙引號會識別符號,將$解析爲變量的引用 ③最外層是
原创 ES- Set fielddata=true on [actorList.name] in order to load fielddata in memory by......
GET movie_index/_search { "aggs": { "b": { "terms": { "field": "actorList.name", "size"
原创 scala中樣例類與JSON字符串之間轉換思路
樣例類 ->JSON字符串 採用JSON4S來轉換! 核心僞代碼 import org.json4s.DefaultFormats import org.json4s.jackson.Serialization val con
原创 bad interpreter: /bin/bash^M: no such file or directory(windows下寫shell腳本在linux下運行)
原因 因爲在 window 下寫的腳本回車的時候使用的是\r\n, 而在 linux 使用\n就可以了, 所在每行的末尾多了一個\r. 解決辦法 func1 //shname是文件名 sed -i -e 's/\r$//' shn
原创 用scala向es寫數據
package com.zhengkw.gmall.realtime.util import io.searchbox.client.JestClientFactory import io.searchbox.client.co
原创 pkillp與grep等使用簡單介紹
常規篇: 首先,用ps查看進程,方法如下: $ ps -ef ……``smx 1822 1 0 11:38 ? 00:00:49 gnome-terminal``smx 1823 1822 0 11:38 ? 00:00:00 g