原创 Flink學習(二) job 執行流程
本片文章主要介紹以下2點：1、job代碼是如何被編譯成ExecutionGraph。2、任務是如何運行和調度。(以RemoteEnvironment 模式記錄而非Local)。 flink job 是如何生成ExecutionGr
2020-07-01 02:51:43
1
原创 flink學習(一) —Flink-Kafka-Connector基本描述
一、flink-connector-kafka 功能簡介 flink Kafka Connector 是 flink 內置的Kafka連接器，包含了從topic讀取數據的Flink Kafka Consumer 和 向t
2020-07-01 02:51:43
原创 Kafka Consumer 消費邏輯
Kafka消費邏輯 簡介：本文主要敘述KafkaConsumer消費邏輯(本文使用的是flink 中的Kafka-client)， 是如何獲取獲取數據，這裏直奔主題，從KafkaConsumer直接看起來。 1、喚醒 K
2020-07-01 02:51:43
1
原创 Hadoop 安裝(mac 環境，僞分佈式)
Hadoop 可以部署成非分佈式模式運行的一個java進程(主要用於本地調試)，也可以可以在單節點上以所謂的僞分佈式模式運，每一個Hadoop守護進程都作爲一個獨立的Java進程運行。下面主要說下Mac下面僞分佈式的安裝和啓動 一、安裝前
2020-07-01 02:51:43
原创 tomcat 源碼總結
一、Tomcat的功能 對於一個web開發者而言，Tomcat 是一個請求處理的第一步，然後再進行我們業務處理。如下圖： 從上圖可以看出，Tomcat有2大塊非常重要的功能：1、HTTP服務器的功能
2020-06-03 01:25:37
原创 類加載流程簡介(一)
文章目錄一、類加載描述二、類加載流程加載連接驗證準備解析初始化 一、類加載描述 類加載過程就是將class文件加載到內存，並對進行校驗、解析、初始化等的過程，其實就是將編譯後的java文件(.class文件)變成虛擬機中的clas
2020-02-23 13:44:48
原创 類加載器工作模型簡介(二)
文章目錄一、類加載器描述二、雙親委派模型1、類加載器介紹2、雙親委託模型3、命名空間4、破壞雙親委託模型 一、類加載器描述 類的加載是需要類加載器完成的，最早的類加載器是滿足java applet 需求開發的，但是現在類加載器在熱
2020-02-23 13:44:48
原创 FKC(二)—Kafka Consumer
本文主要敘述KafkaConsumer消費邏輯。 下面一篇介紹如何將獲取到的數據發射到下游。 從上文可知，在FlinkKafkaConsumerBase類的run方法中看到，最終是調用了 AbstractFetcher.runFe
2019-10-26 21:48:24
原创 FKC(一) —Flink-Kafka-Connector基本描述
一、flink-connector-kafka 功能簡介 flink Kafka Connector 是 flink 內置的Kafka連接器，包含了從topic讀取數據的Flink Kafka Consumer 和 向t
2019-10-25 22:28:19
原创 Flink Event Time 和WaterMark
Flink Event Time 和WaterMark ProcessingTimeEventTimeWaterMark ProcessingTime 下面有一個窗口大小爲 10s，步長爲 5s的滑動窗口 進行數據統計。假設數據源
2019-07-30 22:33:28
2
原创 類加載器簡介
一、ClassLoader簡介 Java的類加載器的作用就是在運行時加載類到虛擬機中，首先不管對於什麼樣的java應用肯定是由很多class組成實現的，不同的功能所在的class是不一樣的(你說我把所有的功能
2019-01-21 21:57:47
原创 tomcat 初始化
一、啓動 對於tomcat的啓動類，主要是Catalina和Bootstrap這2個類。我們先看下啓動的流程圖，然後針對這2個類單獨敘說。 下面我們主要看下Bootstrap和Catalina這2個類(JMX這塊會單獨放
2019-01-18 22:09:10
原创 Digester簡介和使用
一、Digester簡介 1、sax簡單介紹，對於XML的解析java有很多種實現，如DOM、SAX等，degister就是基於SAX實現，SAX提供了文件讀取的底層接口，它是基於事件驅動類型。在解析X
2019-01-13 22:43:39
原创 TOMCAT源碼環境搭建(maven方式)
一、TOMCAT 源碼的獲取 對於tomcat的源碼，可以從github上面poll最新的：https://github.com/apache/tomcat 或者從tomcat官網獲取:https://tomcat.apa
2019-01-12 22:36:18
原创 HTTP請求的完整流程(tomcat)
1、HTTP協議的簡單介紹 網絡通信協議的本質就是規則，軟件和硬件必須遵循的共同守則。我們先看下HTTP的請求體和響應體： GET /servlet/myServlet HTTP/1.1 Host: localhost:8080 C
2018-12-29 01:08:24
3