原创 flink 1.11 發佈了,聊聊自己的工作和開源

flink 1.11 版本發佈了.有幸給flink貢獻了幾個PR,第一次讓名字出現在了apache的官方網站上。 https://flink.apache.org/news/2020/07/06/release-1.11.0.ht

原创 Flink實戰教程-自定義函數之標量函數

文章目錄背景實例講解定義函數通過程序註冊函數通過sql註冊函數 背景 flink本身給我們提供了大量的內置函數,已經能滿足我們絕大部分的需求,但是如果確實是碰到了一些特殊的場景,無法滿足我們的需求的時候,我們可以自定義函數來解決,

原创 Flink教程-flink 1.11使用sql將流式數據寫入文件系統

文章目錄滾動策略分區提交分區提交觸發器分區時間的抽取分區提交策略完整示例定義實體類自定義source寫入file flink提供了一個file system connector,可以使用DDL創建一個table,然後使用sql的方

原创 大數據流處理-我爲什麼選擇Apache Flink

文章目錄真正的流處理低延遲高吞吐多種窗口自帶狀態(state)精確一次傳輸語義時間管理水印複雜事件處理 隨着這幾年大數據技術的迅猛發展,人們對於處理數據的要求也越來越高,由最早的MapReduce,到後來的hive、再到後來的sp

原创 Flink實戰教程系列

前言 這個flink實戰教程系列把我在工作和學習中遇到的一些例子整理一下,從入門,原理,然後到源碼都有所涉及,並提供大家可以正常運行的代碼。同時也是給自己做一個筆記,有時候稍微時間長一點不用,就會忘了,所以好記性不如爛筆頭。 如果

原创 Flink實戰教程-自定義函數之TableFunction

文章目錄自定義函數單個eval方法多個eval方法不固定參數通過註解指定返回類型註冊函數構造數據源查詢left joinjoin多種類型參數不固定參數類型 今天我們來聊聊flink sql中另外一種自定義函數-TableFunti

原创 flink實戰教程-集羣的部署

文章目錄MiniClusterStandaloneyarnyarn sessionyarn per jobapplication模式k8s其他 MiniCluster 這種模式我們一般是在用IDE調試程序的時候用到,當我們在本地用