原创 Flink 三種狀態存儲方式 MemoryStateBackend、FsStateBackend、RocksDBStateBackend
StateBackend的意思是狀態後端。 狀態後端定義了流式應用程序狀態如何存儲和checkpoint的。不同的狀態後端以不同的方式來存儲其狀態，並且使用不同的數據結構來保存正在運行的應用程序的狀態。 MemoryStateBack
2020-07-07 23:55:04
原创 flink sql實例， TableException: Create BatchTableEnvironment failed.報錯
package SQL; import org.apache.flink.api.java.DataSet; import org.apache.flink.api.java.ExecutionEnvironment; import
2020-07-07 23:55:04
5
原创 Flink DataSet partitionByRange sortPartition 用法 實例
package DataSetPartitionTest1; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.
2020-07-07 23:55:04
3
原创 Flink ClassNotFoundException BatchTableEnvironmentImpl 報錯 解決方法
Exception in thread "main" org.apache.flink.table.api.TableException: Create BatchTableEnvironment failed. at org.a
2020-07-07 23:55:04
2
原创 Flink 分佈式緩存 廣播變量 區別
區別: 1.廣播變量是基於內存的,是將變量分發到各個worker節點的內存上（避免多次複製，節省內存） 2.分佈式緩存是基於磁盤的,將文件copy到各個節點上,當函數運行時可以在本地文件系統檢索該文件（避免多次複製，提高執行效率） 分
2020-07-07 23:55:04
3
原创 hive，order by ,distribute by ,sort by ,cluster by 區別，作用，用法
0 order by 是全局排序，把所有數據放在一個reduce task中排序。sort by是在一個reduce中排序，該reduce的輸出有序，是局部有序。distriute by c1 是作用於map輸出的結果，把c1的值相同的記
2020-07-07 23:55:04
11
原创 Flink 廣播變量 實例
版本： flink1.9.2,java1.8 廣播變量用於DataSet： package BroadCast; import org.apache.flink.api.common.functions.RichMapFunction
2020-07-07 23:55:04
原创 Flink Keyed State ，Operator State 作用 區別 用法
Flink的State類型 基本類型劃分： 在Flink中，按照基本類型，對State做了以下兩類的劃分： Keyed State，和Key有關的狀態類型，它只能被基於KeyedStream之上的操作，方法所使用。我們可以從邏輯上理解這
2020-07-07 23:55:04
5
原创 Flink 分佈式緩存 實例
版本： flink1.9.2,java1.8 package DistributedCache; import org.apache.commons.io.FileUtils; import org.apache.flink.api.
2020-07-07 23:55:04
2
原创 Flink Operator State 實例 實現CheckpointedFunction
public interface CheckpointedFunction { // Checkpoint觸發時會調用這個方法，我們要實現具體的snapshot邏輯，比如將哪些本地狀態持久化 void snapshotSt
2020-07-07 23:55:04
3
原创 Flink 累加器 實例
每個並行的任務實例下有各自的累加器，獲取最終值時會把各個並行任務的累加器的值求和。（一個並行度對應一個累加器） 版本: flink1.9.2 java1.8 map並行度1: package Counter; import or
2020-07-07 23:55:04
原创 Flink DataSet first groupBy sortGroup 用法 實例
public class CoGroupDataSetTest { public static void main(String[] args) throws Exception { ExecutionEnv
2020-07-07 23:55:04
1
原创 Flink Keyed State 實例
1 sourceStream必須要先keyBy然後才能使用Keyed State 2 需要繼承RichxxxxFunction纔行，在open之前聲明，在open中初始化，在算子方法中使用和處理。不能繼承xxxxxFunction，因爲沒
2020-07-07 23:55:04
27
原创 Flink Operator State 實例 實現ListCheckpointed
public interface ListCheckpointed<T extends Serializable> { // Checkpoint觸發時會調用這個方法，我們要實現具體的snapshot邏輯，比如將哪些本地狀態持久化
2020-07-07 23:55:04
1
原创 Mysql decimal(m,d)的說明
看了一些博客，覺得很多都是複製的，不如自己親測一篇： create table decimal_test( id int auto_increment PRIMARY key, sco
2020-06-22 12:48:26