原创 Flink開發遇到的問題彙總-
1，提交的離線任務完成之後，在一段時間後web端沒有顯示或者說自動消失： 原因分析： https://blog.csdn.net/u013076044/article/details/104740792 是需要開啓historyser
2020-07-03 17:32:09
原创 Flink on zeppelin 初試
再釘釘羣下載安裝包，編譯好的。 1，安裝好Zeppelin之後 配置 好 Flink Interpreters 2，我這裏安裝的是remote模式： 3，執行自帶案例是否可以正常執行： 4，做一個查詢kafka的案例 1
2020-07-03 17:31:59
原创 Flink sql 基於hbase，mysql的維表實戰 -未完
目前需要用到維表數據，所以選擇hbase和mysql作爲維表數據存儲，目前主要考慮參考官網。 不知道依賴的，可以去參考官網，或者鏈接別人的代碼。 還有此人的博客地址（我稱之爲白斬雞兄），典型的乾貨多博客不火。 https://blog.c
2020-06-22 08:55:23
1
原创 python 基礎系列08-內建函數
#python 基礎系列08-內建函數 #引入sys庫 import sys import copy from functools import reduce if __name__ == '__main__'
2020-06-22 08:55:23
原创 python 基礎系列07-字典集合
#python 基礎系列07-字典集合 #引入sys庫 import sys import copy if __name__ == '__main__': a,b,c =1,2,3 #字段的訪問
2020-06-22 08:55:23
原创 Flink sql之hive catalog踩雷記
先上代碼： val streamEnv = StreamExecutionEnvironment.getExecutionEnvironment streamEnv.setParallelism(5) streamEnv.setStr
2020-06-22 08:55:23
原创 python 基礎系列11-函數的構成
# python 基礎系列11-函數的構成 # 引入sys庫 import sys import copy from functools import reduce def func(): print('aaaa
2020-06-22 08:55:23
原创 window上運行Flink 讀取hive catalog 代碼實操
一，導入依賴，主要是hive 跟 hadoop <!--hive依賴--> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink
2020-06-22 08:55:23
原创 Flink 測試運行，遇到的GC跟taskmanager掛掉問題
1，出現這個，因爲代碼寫的是Json類型，算子與算子之間下發json對象，沒有序列化，都改成pojo 實現序列化，可以減輕內存消耗 2，因爲有個業務是全量統計，會存儲歷史狀態，所以內存要設置大一點，設置 RocksDBStateBa
2020-06-22 08:55:23
原创 python 基礎系列13-異常處理
手動繼承Excetion： # python 基礎系列13-異常處理 # 引入sys庫 import sys import copy from functools import redu
2020-06-22 08:55:23
原创 Flink window+trigger 怎麼區別不同的數據輸出
問題需求： 我們在日常的需求中，通常會彙總計算，比如一天的數據總數 ，然後每分鐘要輸出一次結果 1）window+trigger實現，就是下面的代碼，缺點是沒辦法區分哪個輸出結果是彙總結果，可以參考下面的代碼，把窗口的end時間做一個s
2020-06-22 08:55:11
原创 Druid實時大數據筆記02 -架構
一，Druid架構預覽 1）實時節點 (realtime node): 實時攝入實時數據，以及生成Segment數據文件。 2) 歷史節點（Historical node）: 加載已生成好的數據文件，以供數據查詢。 3) 查詢節點
2020-06-22 08:55:10
1
原创 python 基礎系列10-文件操作
# python 基礎系列10-文件操作 # 引入sys庫 import sys import copy from functools import reduce if __name__ == '__main__':
2020-06-22 08:55:10
原创 使用druid校驗sql，並格式化
1，下載druid依賴 <dependency> <groupId>com.alibaba</groupId> <artifactId>druid</artifactId> <version>1.1.0</ve
2020-06-22 08:55:10
1