原创 mac os 安裝 iterm2+fish shell 終端配色及vim語法高亮

mac os 安裝 iterm2+fish shell 終端配色及vim語法高亮 安裝iterm2 及 fish shell 安裝 iterm2 iterm2軟件下載地址,直接安裝dmg文件 安裝 fish shell fish s

原创 Golang-filepath使用

Golang-filepath 使用 獲取當前目錄 os.GetPWD() filepath.Abs(path) # 絕對目錄 filepath.Dir(path) # 相對目錄 可以 filepath.Abs(filepath.Dir(

原创 Spark2.3.1+Kafka0.9使用Direct模式消費信息異常

Spark2.3.1+Kafka使用Direct模式消費信息 Maven依賴 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-stre

原创 運維小事件-持續更新

運維小事件 Linux系統 系統隨機數 # 兩種獲取隨機值的僞設備 /dev/random /dev/urandom cat /dev/urandom |od -x | tr -d ' '| head -n 1 random 通過進程

原创 Spark 2.3.1數據導入ElasticSearch 5.5.3

Spark 2.3.1數據導入ElasticSearch 5.5.3 TODO

原创 Idea+maven+scala構建包並在spark on yarn 運行

配置Maven項目 在pom.xml配置文件中配置spark開發所需要的包,根據你Spark版本找對應的包,Maven中央倉庫 <dependency> <groupId>org.apache.spark</groupId>