原创 csv文件太大，顯示不全，切分成小文件
v6.csv有200多萬行，excel的一個sheet最多顯示104萬行左右，顯示不全，那麼如何切分呢？ download.csdn.net/download/u010002184/12260318 歡迎到這個網站下載腳本，親測可用。
2020-06-22 11:26:20
原创 Flink 水位線機制WaterMark實踐 處理亂序消息
1 水位線（WaterMark）是一個時間戳，等於當前到達的消息最大時間戳減去配置的延遲時間，水位線是單調遞增的，如果有晚到達的早消息也不會更新水位線，因爲消息最大時間戳沒變 2 新消息到達時，才計算新的水位線，如果水位線大於等於窗口的e
2020-06-22 11:26:18
原创 Flink fold算子 實例 （所有訂單的分類彙總信息）
需求 本篇文章，我們使用fold函數每次來統一輸出當前所有訂單的分類彙總信息。 解決方案 package fold; import org.apache.flink.api.common.functions.FoldFunction;
2020-06-22 11:26:18
原创 Mac 安裝jd-gui 反編譯jar
1 使用brew安裝 ，打開終端窗口，輸入下面命令 brew cask install jd-gui 2 選中jar，在打開方式中選擇jd-gui，報錯： MacOs 無法打開xxx ，因爲無法驗證開發者 禁用掉就好了 sudo
2020-06-22 11:26:18
2
原创 把文件上傳到git,但本地還沒有這個項目，怎麼辦？需要新建Git倉庫並添加本地項目
需要新建Git倉庫並添加本地項目 1 新建目錄git_dir，把需要上傳到git的文件enc.jar複製到這個目錄下 2 初始化當前目錄作爲Git倉庫： git init 3 添加目錄下的文件到本地倉庫：從工作區提交到暫存區 git ad
2020-06-22 11:26:18
原创 hive add jar報錯 does not exist 不要帶引號
不要帶單引號！！ hive> add jar '/abc/def.jar'; -- 報錯 '/abc/def.jar' does not exist Query returned non-zero code: 1, cause: '
2020-06-22 11:26:18
原创 ConditionalOnProperty的使用
@Retention(RetentionPolicy.RUNTIME) @Target({ElementType.TYPE, ElementType.METHOD}) @Documented @Conditional({OnProp
2020-06-22 11:26:18
原创 Flink reduce與fold 相同點和不同點(區別)
相同點： 1 均是對相同類型的元素進行合併 2 均是把組內的所有元素合併成一個值 不同點： 1 reduce是組內的2個元素合併成一個同類型的新元素；fold是組內的每個元素與累加器（一開始是初始值initialValue）合併再返回累加
2020-06-22 11:26:18
原创 Flink,coGroup雙流，coGroup實例，java版本
flink版本1.9.2,java版本1.8 package CoGroup; import org.apache.flink.api.common.functions.CoGroupFunction; import org.apac
2020-06-22 11:26:18
原创 Flink,connect雙流，connect實例，java版本
package connect; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.datastream.Da
2020-06-22 11:26:18
原创 Flink reduce 作用 實例
reduce作用：把2個類型相同的值合併成1個，對組內的所有值連續使用reduce，直到留下最後一個值！ package reduce; import org.apache.flink.api.java.tuple.Tuple3; i
2020-06-22 11:26:18
3
原创 Mysql，dump，導出、導入數據
導出數據: 在源主機上執行以下命令，將數據備份至 dump.txt 文件中: $ mysqldump -u root -p database_name table_name > dump.txt password ***** 如果完整備份
2020-06-22 11:26:18
原创 Flink,union DataSet數據集，union實例，java版本
數據集union，不去重 package union; import org.apache.flink.api.java.DataSet; import org.apache.flink.api.java.ExecutionEnvir
2020-06-22 11:26:18
原创 Flink,join，coGroup，connect，union的區別、使用和實例
join： 1 可用於DataStream和DataSet。只能2個DataStream一起join，或者2個DataSet一起join 2 用於DataStream時返回是JoinedStreams ,用於DataSet時返回是Joi
2020-06-22 11:26:18
原创 Hive，regexp_replace，把數字、字母替換成*星號
select regexp_replace('123asxsa456dsQWQE','[a-z]|[A-Z]|[0-9]','*') -- ***************** select regexp_replace('cd
2020-06-22 11:26:18