原创 一文讓你徹底瞭解大數據實時計算引擎 Flink

前言 在上一篇文章 你公司到底需不需要引入實時計算引擎? 中我講解了日常中常見的實時需求,然後分析了這些需求的實現方式,接着對比了實時計算和離線計算。隨着這些年大數據的飛速發展,也出現了不少計算的框架(Hadoop、Storm、Spark、

原创 《大數據實時計算引擎 Flink 實戰與性能優化》新專欄

基於 Flink 1.9 講解的專欄,涉及入門、概念、原理、實戰、性能調優、系統案例的講解。 <!--more--> 專欄介紹 掃碼下面專欄二維碼可以訂閱該專欄 首發地址:http://www.54tianzhisheng.cn/2019

原创 滴滴實時計算髮展之路及平臺架構實踐

toc: truetitle: 滴滴實時計算髮展之路及平臺架構實踐date: 2019-08-25tags: Flink 大數據 滴滴的核心業務是一個實時在線服務,因此具有豐富的實時數據和實時計算場景。本文將介紹滴滴實時計算髮展之路

原创 Flink 從 0 到 1 學習 —— Flink Data transformation(轉換)

toc: truetitle: Flink 從 0 到 1 學習 —— Flink Data transformation(轉換)date: 2018-11-04tags: Flink 大數據 流式計算 前言 在第一篇介紹 Flin

原创 Flink 從 0 到 1 學習 —— 如何自定義 Data Source ?

前言 在 《從0到1學習Flink》—— Data Source 介紹 文章中,我給大家介紹了 Flink Data Source 以及簡短的介紹了一下自定義 Data Source,這篇文章更詳細的介紹下,並寫一個 demo 出來讓大家理

原创 Flink Connector 深度解析

作者介紹:董亭亭,快手大數據架構實時計算引擎團隊負責人。目前負責 Flink 引擎在快手內的研發、應用以及周邊子系統建設。2013 年畢業於大連理工大學,曾就職於奇虎 360、58 集團。主要研究領域包括:分佈式計算、調度系統、分佈式存儲等

原创 Flink 從 0 到 1 學習 —— Flink 配置文件詳解

前面文章我們已經知道 Flink 是什麼東西了,安裝好 Flink 後,我們再來看下安裝路徑下的配置文件吧。 <!--more--> 安裝目錄下主要有 flink-conf.yaml 配置、日誌的配置文件、zk 配置、Flink SQL

原创 Flink 源碼解析 —— TaskManager 處理 SubmitJob 的過程

TaskManager 處理 SubmitJob 的過程 <!--more-->https://t.zsxq.com/eu7mQZj 博客 1、Flink 從0到1學習 —— Apache Flink 介紹 2、Flink 從0到1學習 —

原创 Flink 源碼解析 —— 分析 Streaming WordCount 程序的執行過程

流處理 WordCount 程序 <!--more--> https://t.zsxq.com/qnMFEUJ 博客 1、Flink 從0到1學習 —— Apache Flink 介紹 2、Flink 從0到1學習 —— Mac 上搭建 F

原创 Flink 源碼解析 —— Flink TaskManager 有什麼作用?

TaskManager 有什麼作用 <!--more-->https://t.zsxq.com/RZbu7yN 博客 1、Flink 從0到1學習 —— Apache Flink 介紹 2、Flink 從0到1學習 —— Mac 上搭建 F

原创 Flink 源碼解析 —— 項目結構一覽

Flink 源碼項目結構一覽 <!--more-->https://t.zsxq.com/MNfAYne 博客 1、Flink 從0到1學習 —— Apache Flink 介紹 2、Flink 從0到1學習 —— Mac 上搭建 Flin

原创 Flink 源碼解析 —— 如何獲取 StreamGraph?

StreamGraph <!--more--> https://t.zsxq.com/qRFIm6I 博客 1、Flink 從0到1學習 —— Apache Flink 介紹 2、Flink 從0到1學習 —— Mac 上搭建 Flink

原创 Flink 源碼解析 —— Standalone session 模式啓動流程

Standalone session 模式啓動流程 <!--more-->https://t.zsxq.com/EemAEIi 博客 1、Flink 從0到1學習 —— Apache Flink 介紹 2、Flink 從0到1學習 —— M

原创 Flink 源碼解析 —— 深度解析 Flink 序列化機制

Flink 序列化機制 <!--more-->https://t.zsxq.com/JaQfeMf 博客 1、Flink 從0到1學習 —— Apache Flink 介紹 2、Flink 從0到1學習 —— Mac 上搭建 Flink 1

原创 Flink Metrics 源碼解析

Flink Metrics 有如下模塊: <!--more--> Flink Metrics 源碼解析 —— Flink-metrics-core Flink Metrics 源碼解析 —— Flink-metrics-datadog Fl