原创 零次拷貝學習
四次拷貝 mmap拷貝 sendfile 零拷貝技術都是減少數據在用戶空間和內核空間拷貝技術實現的，但是有些時候，數據必須在用戶空間和內核空間之間拷貝。這時候，我們只能針對數據在用戶空間和內核空間拷貝的時機上下功夫了。Lin
2020-06-29 05:54:43
原创 flink state 理解
兩種state：operatorState keyedState 1.operatorState只提供了ListState 2.keyedState提供了ValueState,ListState,ReducingState,Ma
2020-06-23 22:23:47
原创 flink ddl kafka mysql
需要的jar <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-sql-connector-
2020-06-23 16:24:03
原创 percona-release安裝
yum install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm yum inst
2020-06-23 16:24:02
原创 flink提交job
yarn提交 ./bin/flink run -m yarn-cluster -yn 2 -c com.flink.kafka.KafkaProducer /usr/local/flinkLearn/target/demo-0.0
2020-06-23 16:24:02
原创 flink 窗口類型 時間類型
窗口類型 數據窗口：當數據量到達一定程序觸發 時間窗口：滑動，滾動， session窗口：用戶會話窗口 自定義窗口 時間類型 processing time：數據被系統處理時間 event time：事件真實時間 ingestio
2020-06-23 16:23:52
原创 CDH kafka 操作
kafka-topics --create --zookeeper master:2181 --replication-factor 1 --partitions 6 --topic TP_LABEL kafka-topics
2020-06-23 16:23:52
原创 flink etl join
Regular Join 允許對輸入表進行任意種類的更新操作（insert、update、delete）。然而因爲資源問題 Regular Join 通常是不可持續的，一般只用做有界數據流的 Join
2020-06-23 16:23:51
原创 mariadb columnstore1.2.5 安裝
centos7 yum -y install boost yum groupinstall "Development Tools" yum install cmake yum -y install expect perl perl
2020-06-23 16:23:51
原创 kerberos kafka 問題解決
修改 kafka界面 security.inter.broker.protocol SASL_PLAINTEXT 登錄添加用戶生成keytab kadmin.local add_principal flink/master@AQ
2020-06-23 16:23:51
原创 flink sql 轉換
將 SQL文本 / TableAPI 代碼轉化爲邏輯執行計劃（Logical Plan） Logical Plan 通過優化器優化爲物理執行計劃（Physical Plan） 通過代碼生成技術生成 Transformations
2020-06-23 16:23:51
原创 flink udf 介紹
ScalarFunction：標量函數是實現將0，1，或者多個標量值轉化爲一個新值 TableFunction：一個輸入多個行或者多個列 AggregateFunction：多個輸入一個輸出 package org.fu
2020-06-23 16:23:51
原创 cdh kerberos 安裝
重建數據庫:kdb5_util -r AQ.COM destroy 建數據庫:kdb5_util create -r AQ.COM –s master 安裝 yum install krb5-server krb5-worksta
2020-06-23 16:23:50
原创 flink水印的產生方式
AssignerWithPunctuatedWatermarks：每一個event到來的時候，就會提取一次Watermark AssignerWithPeriodicWatermarks： 可以定義一個最大允許亂序的時間, 生成水
2020-06-23 16:23:50
原创 flink kerberos
security.kerberos.login.keytab: /usr/local/keytab/flink/flink.keytab security.kerberos.login.principal: flink/maste
2020-06-23 16:23:39