原创 Apache Flink 進階教程(八):詳解 Metrics 原理與實戰

文章目錄什麼是 Metrics?Metric TypesMetric Group如何使用 Metrics?System MetricsUser-defined MetricsUser-defined Metrics Example

原创 Apache Flink 進階教程(四):Flink on Yarn/K8s 原理剖析及實踐

文章目錄Flink 架構概覽Flink 架構概覽–JobFlink 架構概覽–JobManagerFlink 架構概覽–TaskManagerFlink 運行時相關組件Flink on Yarn 原理及實踐Yarn 架構原理–總覽

原创 Apache Flink 進階教程(六):Flink 作業執行深度解析

文章目錄Flink 四層轉化流程Program 到 StreamGraph 的轉化StreamGraph 到 JobGraph 的轉化JobGraph 到 ExexcutionGraph 以及物理執行計劃Flink Job 執行流

原创 Apache Flink 進階教程(七):網絡流控及反壓剖析

文章目錄網絡流控的概念與背景爲什麼需要網絡流控網絡流控的實現:靜態限速網絡流控的實現:動態反饋/自動反壓案例一:Storm 反壓實現案例二:Spark Streaming 反壓實現疑問:爲什麼 Flink(before V1.5)

原创 Apache Flink 進階教程(五):數據類型和序列化

文章目錄爲 Flink 量身定製的序列化框架爲什麼定製?Flink 的數據類型TypeInformationFlink 的序列化過程Flink 序列化的最佳實踐最常見的場景實踐–類型聲明實踐–註冊子類型實踐–Kryo 序列化Fli

原创 Apache Flink 進階教程(三):Checkpoint 的應用實踐

文章目錄Checkpoint 與 state 的關係什麼是 state什麼是 keyed state什麼是 operator state如何在 Flink 中使用 stateCheckpoint 的執行機制Statebackend

原创 Apache Flink 進階教程(二):Time 深度解析

文章目錄前言Flink 時間語義Timestamp 和 Watermark 行爲概覽Timestamp 分配和 Watermark 生成Watermark 傳播ProcessFunctionWatermark 處理Table AP

原创 集羣 Redis 的分佈式鎖

單機的分佈式鎖因爲只作用在一個Redis節點上,所以可用性上是存在問題的,即使Redis通過sentinel保證高可用,如果這個master節點由於某些原因發生了主從切換,那麼就會出現鎖丟失的情況: 1.在Redis的maste

原创 分佈式計算框架——MapReduce

文章目錄一、MapReduce概述二、MapReduce編程模型簡述三、combiner & partitioner3.1 InputFormat & RecordReaders3.2 Combiner3.3 Partitione

原创 Zookeeper簡介及核心概念

文章目錄一、Zookeeper簡介二、Zookeeper設計目標2.1 目標一:簡單的數據模型2.2 目標二:構建集羣2.3 目標三:順序訪問2.4 目標四:高性能高可用三、核心概念3.1 集羣角色3.2 會話3.3 數據節點3.

原创 Apache Flink 零基礎入門(九):Flink SQL 編程實踐

文章目錄通過本課你能學到什麼?環境準備運行 Flink SQL CLI 客戶端數據介紹實例1:過濾實例2:Group Aggregate實例3:Window AggregateWindow Aggregate 與 Group Ag

原创 常用框架專題springboot&mybatis...

Spring Boot 目錄 博客鏈接 兩小時學會SpringBoot https://blog.csdn.net/qq_24095055/article/details/90290614 設置IDEA可以啓動多

原创 Apache Flink 零基礎入門(八):Table API 編程

文章目錄一、什麼是 Table API1. Flink API 總覽2.Table API 特性二、Table API編程1. WordCount舉例2. 如何獲取一個Table3. 如何輸出一個Table4. 如何操作一個Tab

原创 集羣資源管理器——YARN

文章目錄一、hadoop yarn 簡介二、YARN架構1. ResourceManager2. NodeManager3. ApplicationMaster4. Container三、YARN工作原理簡述四、YARN工作原理詳

原创 Java知識體系總結

Java知識總結 分類 總結博客快速導航 Java知識總結之基礎篇 https://blog.csdn.net/qq_24095055/article/details/88530106 Java知識總結之集合篇