原创 HUDI 0.11.1 cli使用問題和分析解決 問題描述 問題分析和臨時解決方案 最終解決 聲明
問題描述 我們通過Flink插入一張演示用Hudi表，SQL語句如下： CREATE TABLE t1( uuid VARCHAR(20), name VARCHAR(10), age INT, ts TIMESTAMP(3
2022-11-13 20:54:52
原创 Flink 使用之數據分流 Flink 使用介紹相關文檔目錄 背景 OutputTag 遲到數據分流 條件分流
Flink 使用介紹相關文檔目錄 Flink 使用介紹相關文檔目錄 背景 數據分流在Flink中叫做旁路輸出(side output)。Flink的工作流程可以理解爲是一條流水線。我們編寫的程序是流水線上的各個工序。然而，在一些場景中，我們
2022-11-13 20:54:52
原创 Flink 源碼之 KafkaSink Flink源碼分析系列文檔目錄 前言 KafkaSink創建和使用 幾個重要的接口/角色 數據寫入Kafka和提交流程
Flink源碼分析系列文檔目錄 請點擊：Flink 源碼分析系列文檔目錄 前言 本篇接上篇Flink 源碼之 KafkaSource，詳細分析新Sink架構，以及新架構下KafkaSink的實現邏輯。 KafkaSink創建和使用 我們先從
2022-11-13 20:54:52
原创 Flink 使用之重啓策略 Flink 使用介紹相關文檔目錄 Flink作業重啓策略 重啓策略類型 全局配置 作業級別配置 演示代碼
Flink 使用介紹相關文檔目錄 Flink 使用介紹相關文檔目錄 Flink作業重啓策略 實際生產作業中，我們期望Flink作業遇到錯誤的時候，能夠自動重啓恢復到正常運行狀態。 Flink支持多種作業重啓策略，但默認作業重啓策略爲none
2021-12-18 01:16:40
原创 Log4j遠程任意代碼執行漏洞POC和Flink修復 聲明 準備工作 編寫代碼 漏洞利用 漏洞防禦 Flink修復log4j漏洞的方式
聲明 本篇目的爲分享原理和學習用途，嚴禁用於任何惡意行爲。任何惡意使用導致的一切損失和法律責任由操作者承擔，和本文作者無關。 準備工作 下載並編譯mbechler/marshalsec。 git clone https://github.c
2021-12-15 07:36:06
2
原创 Flink commons-cli no such Method 問題排查 Flink 使用介紹相關文檔目錄 問題描述 問題排查
Flink 使用介紹相關文檔目錄 Flink 使用介紹相關文檔目錄 問題描述 Flink on yarn 模式提交任務異常，解析運行參數的時候拋出NoSucnMethodError，如下圖所示： 問題排查 NoSuchMethod問題通常
2021-12-07 20:47:37
原创 Flink 源碼之Buffer Debloating Flink源碼分析系列文檔目錄 什麼是Buffer debloating buffer debloating 源代碼解析
Flink源碼分析系列文檔目錄 請點擊：Flink 源碼分析系列文檔目錄 什麼是Buffer debloating Buffer Debloating是Flink 1.14新增的優化方式。它能夠根據指標（buffer數據被全部消費的期望等待
2021-12-03 01:49:36
原创 Flink 使用之狀態和checkpoint Flink 使用介紹相關文檔目錄 背景 State Backend 狀態後端 代碼中使用State Checkpoint優化
Flink 使用介紹相關文檔目錄 Flink 使用介紹相關文檔目錄 背景 通常Flink算子是無狀態的，每個算子根據設定好的邏輯，依次對到來的數據進行加工。無論是第一次加工還是第一萬次，邏輯全是一樣的。 但是這種方式並不能滿足全部需求。比如
2021-12-03 01:49:36
3
原创 Flink 源碼之 Side Output 踩坑 Flink源碼分析系列文檔目錄 問題背景 問題分析
Flink源碼分析系列文檔目錄 請點擊：Flink 源碼分析系列文檔目錄 問題背景 Flink的side output爲我們提供了數據分類輸出的方式，根據條件將一個流分爲多個數據流。如果getSideOutput調用緊跟着產生side ou
2021-11-27 06:20:45
原创 Flink 使用之 Oracle CDC Flink 使用介紹相關文檔目錄 準備工作 項目依賴 Oracle CDC SQL方式 Oracle CDC API方式 參考文獻
Flink 使用介紹相關文檔目錄 Flink 使用介紹相關文檔目錄 準備工作 在這一步需要配置Oracle。主要包含。 開啓Archive log 開啓數據庫和數據表的supplemental log 創建CDC用戶並賦予權限 注意：
2021-11-18 00:10:26
原创 Flink Hudi 源碼之COW表數據寫入流程 Flink源碼分析系列文檔目錄 數據寫入流程
Flink源碼分析系列文檔目錄 請點擊：Flink 源碼分析系列文檔目錄 數據寫入流程 接上一篇Flink Hudi 源碼之HoodieTableSink。 我們從StreamWriteFunction數據流寫入邏輯的flushBucket
2021-10-28 07:10:34
2
原创 Flink 使用之 CEP（SQL方式） Flink 使用介紹相關文檔目錄 SQL match recognize 使用示例
Flink 使用介紹相關文檔目錄 Flink 使用介紹相關文檔目錄 SQL match recognize 本篇爲Flink 使用之 CEP後續。如果您對CEP不瞭解，請先瀏覽Flink 使用之 CEP。 SQL的match_recogni
2021-09-26 19:49:32
原创 Flink 使用之 CEP Flink 使用介紹相關文檔目錄 什麼是CEP 引入依賴 Pattern API 創建PatternStream 新版變化 使用SQL方式編寫CEP
Flink 使用介紹相關文檔目錄 Flink 使用介紹相關文檔目錄 什麼是CEP CEP的全稱爲Complex Event Processing，中文翻譯爲複雜事件處理。光看字面意思解釋還是很難理解。究竟何爲“複雜事件”？通常我們使用Fli
2021-09-26 19:49:32
原创 Flink 使用之 CDC 自定義 DeserializationSchema Flink 使用介紹相關文檔目錄 背景 目標 實現方式
Flink 使用介紹相關文檔目錄 Flink 使用介紹相關文檔目錄 背景 本篇接Flink 使用之 MySQL CDC。在這篇博客，我們解析CDC數據的時候用的是StringDebeziumDeserializationSchema。實際上
2021-09-17 18:35:12
原创 Flink 源碼之 SQL 執行流程 Flink源碼分析系列文檔目錄 前言 入口 解析 校驗和轉換 執行
Flink源碼分析系列文檔目錄 請點擊：Flink 源碼分析系列文檔目錄 前言 本篇爲大家帶來Flink執行SQL流程的分析。它的執行步驟概括起來包含： 解析。使用Calcite的解析器，解析SQL爲語法樹（SqlNode）。 校驗。按照
2021-08-06 14:12:50
6