原创 idea 重命名和全局替換快捷鍵
作爲剛工作的菜鳥，一些變量的命名有時候會被組長換成其他的單詞組合 那麼自己一個個手動找再替換肯定是不合適的。。。 使用ctrl + f 或者 ctrl + r的方式在當前的頁面是管用的，跨頁面就不好使了。 使用ctrl + shi
2020-07-07 00:16:07
原创 spark streaming中updateStateByKey算子的使用介紹
前言 在streaming中可以分爲有狀態運算和無狀態運算 無狀態運算就是每個批次間都彼此隔離，每次都從空開始 有狀態運算爲批次之間提供了管道，管道中保存的信息就是歷史狀態 常見的有狀態算子包括updateStateByKey，m
2020-07-01 20:06:42
5
原创 hive練習:窗口函數相關
答案是我自己寫的,有不同看法的歡迎討論 1.編寫sql實現每個用戶截止到每月爲止的最大單月訪問次數和累計到該月的總訪問次數 數據: A,2015-01,5 A,2015-01,15 B,2015-01,5 A,2015-01
2020-06-26 21:42:56
原创 azkaban的概覽
1、調度系統背景 一個完整的大數據分析系統通常都是由大量任務單元組成：shell腳本程序，mapreduce程序、 hive腳本、spark程序等。 各任務單元之間存在時間先後及前後依賴關係:先後關係、依賴關係、定時執行。 爲了很
2020-06-26 21:42:56
原创 hive練習:行列轉換相關
1 數據: id userid subject score 1 001 語文 90 2 001 數學 92 3 001 英語 80 4 002 語文 88 5 002 數學 90 6 002 英語 75.5 7 003 語文 70
2020-06-26 21:42:55
原创 HashMap要點概括
1.關於HashMap的一些說法： a) HashMap實際上是一個“鏈表散列”的數據結構，即數組和鏈表的結合體。HashMap的底層結構是一個數組，數組中的每一項是一條鏈表。 b) HashMap的實例有倆個參數影響其性能：
2020-06-26 21:42:55
原创 初次使用datax,發現datax不支持mysql8.x
一:下載安裝 wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz tar -zxvf datax.tar.gz -C /usr/local/
2020-06-26 21:42:55
原创 azkaban 3.57.0 編譯+soloserver的安裝和簡單使用
編譯 1、下載源碼包 官網地址爲:https://github.com/azkaban/azkaban/archive/3.57.0.tar.gz 2、將源碼包上傳服務器並解壓源碼包 [root@hadoop01 home]# t
2020-06-26 21:42:55
原创 xshell過期?--xshell6家庭/學校免費版下載
1.官網連接 https://www.netsarang.com/zh/free-for-home-school/ 2.點擊下載 3.郵箱收件 4.點擊下載好的兩個可執行文件 xshell會自動覆蓋原先的試用版(第一次使用
2020-06-26 21:42:55
原创 hive lzo的安裝
第一步 1、在hadoop集羣每個節點上安裝lzo和lzop及其依賴(主要爲解決安裝lzop)： yum -y install *lzo* 2. 安裝準備： [root@hadoop01 home]# yum -y install
2020-06-26 21:42:44
原创 嘗試spark streaming的有狀態轉化: updateStateByKey和mapWithState
streaming wordCount示例 import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} import org.apache.s
2020-06-10 14:11:38
原创 c++貪心題目
Input 輸入數據首先包含一個正整數C，表示有C組測試用例，每組測試用例的第一行是兩個整數n和m（0 < n <= 1000, 0 < m <= 1000 ）,分別表示經費的金額和大米的種類，然後是m行數據，每行包含2個整數p和
2020-06-10 14:11:38
原创 mysql報錯：表情符
今天將保存到mysql的時候，報了這個錯誤 java.sql.SQLException: Incorrect string value: '\xF0\x9F\x92\x94' for column 'title' at row 1
2020-05-17 09:39:22