原创 alibaba-canal數據對象格式簡介
阿里github示例 Entry Header logfileName [binlog文件名] logfileOffset [binlog position]
2020-07-03 11:57:28
原创 使用alibaba-DruidPool出現拒絕創建連接對象
場景 在做sparkstreaming業務時，對接kafka數據源，用到了手動提交offset，利用mysql存放offset！ 在分區內創建獲取德魯伊連接池裏的連接對象。一直獲取不到connection，報錯信息如下 lin
2020-07-03 11:57:28
原创 理解Scala中的值調用和名調用以及惰性求值
package com.zhengkw.scala.day03Exc /** * @ClassName:Call * @author: zhengkw * @description: * @date: 20/04/23下
2020-07-03 11:13:59
1
原创 清理maven倉庫中的lastUpdated文件
@echo off rem set REPOSITORY_PATH=E:\repository rem for /f “delims=” %%i in (‘dir /b /s “%REPOSITORY_PATH%*lastUpda
2020-07-03 11:13:59
原创 Scala兩種遞歸方式（尾遞歸和普通遞歸）實現 n!
package com.zhengkw.scala.day06Exc /** * @ClassName:Stratum1 * @author: zhengkw * @description: * @date: 20/0
2020-07-03 11:13:59
1
原创 My id 0 not in the peer list
前言 集羣使用外部的zk來管理所有的選舉和通訊的，hbase內嵌了一個zk。每次運行hbase後，我的外部zk進程就會掛掉。取而代之的是一個名字叫做HQuorumPeer的進程！ 名字是不是很眼熟。和我們的外部zk進程就多了個H？
2020-07-03 11:13:59
原创 Elasticsearch (ES)+Kibana簡單使用
前言 es是一個強大的搜索引擎，目前知名公司內部都在使用！ 因爲Elasticsearch 是一個基於 Apache Lucene™ 的開源搜索引擎。無論在開源還是專有領域，Lucene 可以被認爲是迄今爲止最先進、性能最好的、功
2020-07-03 11:13:59
原创 SpringBoot程序中使用log4j，打印日誌生成文件失效！
前言 第一次玩SpringBoot，想將日誌信息打印，log4j的依賴也成功添加了。然而在進行打印的時候居然沒有達到預期！十分無奈，好不容易找到問題了，現在做個mark，記錄下這個注意事項，以後防止再踩一次！ log4j配置 #打
2020-07-03 11:13:49
原创 腳本中使用ssh命令執行遠程命令注意事項
shell命令中的空格問題(用ssh執行) ①如果shell命令中有空格，可以使用單引號或雙引號引起來 ②單引號不會識別特殊符號，而雙引號會識別特殊符號，而雙引號會識別特殊符號，而雙引號會識別符號，將$解析爲變量的引用 ③最外層是
2020-07-03 11:13:49
原创 ES- Set fielddata=true on [actorList.name] in order to load fielddata in memory by......
GET movie_index/_search { "aggs": { "b": { "terms": { "field": "actorList.name", "size"
2020-07-03 11:13:49
原创 scala中樣例類與JSON字符串之間轉換思路
樣例類 ->JSON字符串 採用JSON4S來轉換！ 核心僞代碼 import org.json4s.DefaultFormats import org.json4s.jackson.Serialization val con
2020-07-03 11:13:49
1
原创 bad interpreter: /bin/bash^M: no such file or directory(windows下寫shell腳本在linux下運行)
原因 因爲在 window 下寫的腳本回車的時候使用的是\r\n, 而在 linux 使用\n就可以了, 所在每行的末尾多了一個\r. 解決辦法 func1 //shname是文件名 sed -i -e 's/\r$//' shn
2020-07-03 11:13:49
原创 用scala向es寫數據
package com.zhengkw.gmall.realtime.util import io.searchbox.client.JestClientFactory import io.searchbox.client.co
2020-07-03 11:13:49
1
原创 pkillp與grep等使用簡單介紹
常規篇： 首先，用ps查看進程，方法如下： $ ps -ef ……``smx 1822 1 0 11:38 ? 00:00:49 gnome-terminal``smx 1823 1822 0 11:38 ? 00:00:00 g
2020-07-03 11:13:49