原创 hive-exec包guava衝突解決

問題背景 項目需要解析hiveSQL,所以引入了hive-exec,但是引入hive-exec包後報出guava包衝突 解決思路 maven依賴嘗試exclusion掉hive-exec的guava exclusion無效

原创 streampipes安裝

簡介 streampipes是flink foward Europe2019一家名爲FZI的公司貢獻出來的,非常雷鋒,頁面也很酷炫。本文主要講解下如何安裝streampipes,以及安裝過程可能遇到的坑。官網連接:https://www.

原创 kafka丟數據了?-----通過優化broker 生產者 消費者提高集羣可用性

本文將圍繞kafka的可用性展開,包含broker數據同步、順序保證,以及生產者消費者爲了保證數據同步可採用的高可用配置。是自己的一些心得。 文章關鍵詞: 不完全的首領選舉 丟數據的可能原因 發送消息中,kafka可重試錯誤和不可重試錯誤

原创 Flink metrics show in Grafana[DataSource:influxDB]

flink metrics 寫到 influxDB.  下面是我畫的grafana dashboard/influxDB展示模板 https://grafana.com/dashboards/10099

原创 深入框架文檔學習---英語詞根學習

文章說明: 本人是碼農一枚,進入新公司後發現大牛們學習新技術速度都很快~ 經觀察我發現大牛們喜歡看官方文檔(大部分框架是英文)這讓我意識到了英語的重要性。看國外一手消息、各種官方文檔、各種框架開發者博客都需要有良好的英語閱讀能力,而閱讀能

原创 flink如何管理kafka消費位點(原:how flink manages kafka consumer offsets)

原文鏈接:https://www.ververica.com/blog/how-apache-flink-manages-kafka-consumer-offsets 本文爲翻譯flink作者之

原创 Flink metrics in Grafana[DataSource:influxDB]

flink metrics in yarn mode . use influxDB. https://grafana.com/dashboards/10099

原创 flink athenaX調研

Uber 有超大量的實時數據需要分析,(路況分析,計算車輛到達需要的時間等) 有More than one trillion real-time 消息通過他們的kafka,so 他們需要一個infrastructure 並且infrast

原创 英語詞根學習

文章說明: 本人是碼農一枚,進入新公司後發現大牛們學習速度都很快~ 經觀察讓我意識到了英語的重要性。看國外一手信息,各種官方文檔,各種框架開發者文章都需要有良好的閱讀能力。 本文章以詞根爲切入,包含自己學習的詞根、詞前後綴的學習總結,希望

原创 kafka數據同步、可用性心得

本文將圍繞kafka的可用性展開,包含數據同步、順序保證,以及生產者消費者爲了保證數據同步可採用的高可用配置。是自己的一些心得。 文章關鍵詞: 不完全的首領選舉 丟數據的可能原因 發送消息中,kafka可重試錯誤和不可重試錯誤 保證順序

原创 統計報表SQL書寫記錄 --MySql echarts

     今天正在爲一個快上線的項目修改bug,一個同事過來告訴我首頁還有我的報表接口沒提供(首頁當時是一個js寫死的假數據),我口頭答應說一會就好,然後就繼續改我的bug,心裏想着雖然之前很少寫報表,但是這個語句很好寫,加上echa

原创 項目中數據庫使用、數據庫遷移心得

    以後在考慮新的項目數據持久化問題的時候,要考慮到所用的數據庫類型,避免出現目前遇到過的一站雲化項目、綜合訂單oracle轉mysql問題。 怎麼避免,並不讓這類問題出現?     答:不管是oracle轉myslq,還是mysql

原创 數據結構in Java - ArrayList數據結構淺析

    近日參加了一個面試,可是等了三天還沒有接到相關通知,覺得還不錯的我心裏嘀咕了起來,第四天早在地鐵上刷博文,尋思今天看看數據結構吧,突然想起來了關於數據結構的面試問題, 當時回答的比較機智(自認爲 捂臉): “ 之前也系統的學習和記

原创 redhat oracle11g2x64 安裝

最好的方式是參照官方文檔,但是官方文檔給的很通用,不夠針對,不同的linux安裝起來還是有不小差異的 官方文檔:http://docs.oracle.com/database/122/LADBI/installing-oracle-