原创 Linux命令文檔
在輸入和輸出之間數據的流向稱爲數據流 數據流 變量 計算邏輯 控制循環 輸入輸出 變量 本地變量 name=xxx 局部變量 local–函數中的變量 環境變量 帶有export 特殊變量 獲取
2020-07-04 08:27:55
原创 Flink的Source端和Sink端大全
Flink和各種組件enviromentSourceflink + kafka (flink 消費 kafka 中的數據)TransformTransformation 的介紹複雜的方法SinkKafka SinkRedis Si
2020-07-04 08:27:55
4
原创 Flink 簡介
Flink 結構認識Flink 概述Flink 接口的層級（FlinkLayer API）Flink 運行程序多樣化Flink VS Storm VS SparkStreamingFlink 的應用場景Flink 部署standa
2020-07-04 08:27:45
原创 Flink的使用
Flink APIFlink 的核心概念Flink 的編程步驟延遲執行（懶加載）指定 key指定轉換函數（Transformation）Flink API 編程支持的數據源 DataSetsink 的目的地（代碼演示）計數器分佈式
2020-07-04 08:27:45
原创 大數據概述
大數據概述大數據定義數據量過大的問題：擴展垂直擴展橫向擴展一、GFS --- HDFS分佈式文件系統(分佈式的存儲)HDFS 採用了主從結構主節點(Namenode)從結點(Datenode)客戶端(Client)hdfs的讀寫機
2020-02-24 17:53:48
原创 關於HDFS的持久化
Secondary — 持久化 流程圖 爲什麼持久化 在集羣中datanode接收客戶端的數據時，由於一些突發事件而中斷數據流，這時數據會流失，所以我們要在重選啓動後恢復之前的數據，持久化會定時或者按照大小將元數據保存在磁盤中
2020-02-24 17:53:48