原创 Shell編程時常用的系統文件
10.1 Linux系統目錄結構 / 根目錄，所有文件的第一級目錄 /home 普通用戶家目錄 /root 超級用戶家目錄 /usr 用戶命令、應用程序等目錄 /var 應用數據、日誌等目錄 /l
2020-06-28 16:24:26
原创 Apache Flink 數據流Transformations窗口及相關操作
問題導讀 1.爲何產生window窗口計算？2.你認爲什麼情況下使用Window Apply？3.Window Fold可以用來做什麼？4.window 流是否可以union和join？5.DataStream是否可以split？ 這
2020-06-28 16:24:26
2
原创 Apache Flink Checkpoint 應用實踐
Checkpoint 與 state 的關係 Checkpoint 是從 source 觸發到下游所有節點完成的一次全局操作。下圖可以有一個對 Checkpoint 的直觀感受，紅框裏面可以看到一共觸發了 569K 次 Checkpoin
2020-06-28 16:24:26
1
原创 實時數倉建設項目概述
數據倉庫也是公司數據發展到一定規模後必然會提供的一種基礎服務，數據倉庫的建設也是“數據智能”中必不可少的一環。本文將從數據倉庫的簡介、經歷了怎樣的發展、如何建設、架構演變、應用案例以及實時數倉與離線數倉的對比六個方面全面分享關於數倉的詳細
2020-06-28 16:24:26
1
原创 Spark Streaming架構及工作原理
1、Spark Streaming有哪些組件？ 2、Micro-Batch Architecture如何理解？ 3、Spark Streaming工作原理是什麼？ 4、如何進行DStream 操作？一、簡介Spark Streaming
2020-06-28 16:24:14
3
原创 Shell常用命令與工具（一）
本章內容如下： 11.1 ls 功能：列出目錄內容 常用選項： -a 顯示所有文件，包括隱藏的 -l 長格式列出信息 -i 顯示文件inode號 -t 按修改時間排序 -r 按修改時間倒序排序 示例： 按修改時間排序： #
2020-06-28 16:24:13
原创 Flink 使用 broadcast 實現維表或配置的實時更新
問題導讀1.本文介紹了幾種維表方案？2.各個方案有什麼優缺點？3. broadcast如何實現實時更新維表案例？通過本文你能 get 到以下知識： Flink 常見的一些維表關聯的案例 常見的維表方案及每種方案適用場景，優缺點 案例：
2020-06-28 16:24:13
17
原创 MySQL 8.0 學習筆記
新的更安全更快的的認證方式 密碼管理 5.7中無密碼管理 新增三個密碼管理相關配置項 1 2 3 4 5 password_histroy=3 (不能和最近三次使用過的密碼相同) password_reuse_interval=
2020-06-28 16:24:13
12
原创 Apache Flink 實戰JAVA用例：使用 SQL 讀取 Kafka 並寫入 MySQL
SqlSubmit 的實現 筆者一開始是想用 SQL Client 來貫穿整個演示環節，但可惜 1.9 版本 SQL CLI 還不支持處理 CREATE TABLE 語句。所以筆者就只好自己寫了個簡單的提交腳本。後來想想，也挺好的，可以讓
2020-06-28 16:24:13
原创 Kafka！（多圖+深入）原理詳解
一、kafka概述 1.1、定義 Kakfa是一個分佈式的基於發佈/訂閱模式的消息隊列（message queue），主要應用於大數據的實時處理領域 1.2、消息隊列 1.2.1、傳統的消息隊列&新式的消息隊列的模式 上面是傳統的消息隊
2020-06-28 16:24:13
1
原创 Flink分佈式執行包括調度、通信機制、檢查點
Flink的分佈式執行包括兩個重要的進程，master和worker。 執行Flink程序時，多個進程參與執行，即作業管理器（Job Manager），任務管理器（Task Manager）和作業客戶端（Job Client）。Flink
2020-06-28 16:24:13
原创 大數據之Hudi + Kylin的準實時數倉實現
問題導讀： 1、數據庫、數據倉庫如何理解？ 2、數據湖有什麼用途？解決什麼問題？ 3、數據倉庫的加載鏈路如何實現？ 4、Hudi新一代數據湖項目有什麼優勢？在近期的 Apache Kylin × Apache Hudi Meetup 直播
2020-05-23 19:49:33
原创 MySQL 當中的各種鎖（中級篇）
鎖是計算機協調多個進程或線程併發訪問某一資源的機制。鎖保證數據併發訪問的一致性、有效性；鎖衝突也是影響數據庫併發訪問性能的一個重要因素。鎖是 Mysql 在服務器層和存儲引擎層的的併發控制。 加鎖是消耗資源的，鎖的各種操作，包括獲得鎖、檢
2020-05-20 09:24:46
原创 Flink如何連接hive
回顧在上篇文章中，筆者使用的 CDH 版本爲 5.16.2，其中 Hive 版本爲 1.1.0（CDH 5.x 系列 Hive 版本都不高於 1.1.0，是不是不可理解），Flink 源代碼本身對 Hive 1.1.0 版本兼容性不好，存
2020-05-20 09:24:46
原创 MySQL 的主從複製原理詳解高級
首先要明白爲什麼要用 mysql 的主從複製： 1–在從服務器可以執行查詢工作 (即我們常說的讀功能)，降低主服務器壓力；（主庫寫，從庫讀，降壓） 2–在從主服務器進行備份，避免備份期間影響主服務器服務；（確保數據安全） 3–當主服務器出
2020-05-20 09:24:46