原创 Flink落HDFS數據按事件時間分區解決方案
0x1 摘要 Hive離線數倉中爲了查詢分析方便，幾乎所有表都會劃分分區，最爲常見的是按天分區，Flink通過以下配置把數據寫入HDFS， BucketingSink<Object> sink = new BucketingSink<>(p
2019-09-29 21:13:59
7
原创 Flink WindowOperator 源碼分析
0x1 摘要 WindowOperator可以說是Flink窗口功能非常核心核心的類，是窗口功能源碼的一條主線，延着這條主線去慢慢看源碼會輕鬆很多。注：此文基於Flink 1.4.2 版本源碼。 0x2 WindowOperator 類結構
2019-06-29 17:22:55
4
原创 Flink 閉包清除源碼分析
0x1 摘要 本文主要講解Flink裏爲什麼需要做閉包清除？Flink是怎麼實現閉包清除的？ 0x2 Flink 爲什麼要做閉包清除 大家都知道Flink中算子都是通過序列化分發到各節點上，所以要確保算子對象是可以被序列化的，很多時候大家比
2019-06-06 17:43:52
7