原创 解決vim從外部複製腳本內容時全註釋問題
前言 很多人應該有過這樣的體會，在windows上寫好了shell腳本，然後在linux上創建一個空白文件，將內容複製，結果全是被註釋！ 原因推測是 腳本shebang行（#!/bin/bash）開頭有個#，所以複製過來以後的內容
2020-07-03 11:13:49
原创 java.lang.ClassNotFoundException: org.apache.flink.api.common.typeinfo.TypeInformation
參考鏈接 問題 導入了隱式轉換！但是依然找不到TypeInformation！ 解決辦法 在idea中勾選一個選項 原因 編譯部署的時候沒有將依賴全部導入，因爲本人用的是快速原型導入的maven，裏面scope好多是prov
2020-07-03 11:13:49
原创 hive中常見的關於日期的函數 （整理）
hive中常見的關於日期的函數 unix_timestamp:返回當前或指定時間的時間戳 from_unixtime：將時間戳轉爲日期格式 current_date：當前日期 current_timestamp：當前的日期加時間
2020-07-03 11:13:49
原创 淺談spark中的standalone內核源碼
Spark-standalone模式下內核分析 1.1 Master和Worker啓動 在standalone模式下，如果配置了高可用，則必須先啓動ZK和HDFS，HDFS裏面有歷史服務信息！ 使用啓動命令 start-all.s
2020-05-25 12:08:26
原创 git bash基礎命令
前言 關於git的命令都是通過git bush來輸入的 一般的git命令必須以git開頭！例如下面的命令 git config --list 所有配置 git三區 工作區 （working) .git上一層目錄（項目的目錄）
2020-05-25 12:08:26
原创 spark-streaming中DS的創建方法（用於測試）
由Socket方式構建 package com.zhengkw.stu.day01 import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream
2020-05-20 06:01:25
原创 Spark中RDD與DF與DS之間的轉換關係
前言 RDD的算子雖然豐富，但是執行效率不如DS，DF，一般業務可以用DF或者DS就能輕鬆完成，但是有時候業務只能通過RDD的算子來完成，下面就簡單介紹之間的轉換。 三者間的速度比較測試！ 這裏的DS區別於sparkstream裏
2020-05-20 06:01:25
原创 Sparkstreaming連接Kafka，利用CKP來保證輸出數據不丟失
package com.zhengkw.stu.day01.kafkademo import kafka.serializer.StringDecoder import org.apache.spark.SparkConf im
2020-05-18 09:21:21
原创 關於scala中的自身類型的注意事項
Demo package com.zhengkw /** * @ClassName:Test * @author: zhengkw * @description: * @date: 20/05/12下午 11:30 *
2020-05-13 00:47:55
原创 spark-shell --master yarn模式下 com.hadoop.compression.lzo.LzoCodec not found.
錯誤原因 筆者在hadoop中配置了編解碼器lzo，所以當使用yarn模式時，spark自身沒有lzo的jar包所以無法找到！ 解決辦法 將lzo的jar包路徑給spark！ 配置spark-default.conf文件！
2020-05-05 03:35:25
原创 scala的默認導入和以及包聲明以及導入
前言 Scala默認會爲每個.scala文件導入以下3個包: java.lang._ scala._ scala.Predef._ (一般很多的隱式轉換都在該包下) 包的聲明 支持和java一樣的聲明方式(基本這種使用)
2020-04-30 11:45:39
原创 Scala實現 n!
package com.zhengkw.scala.day06Exc /** * @ClassName:Stratum1 * @author: zhengkw * @description: * @date: 20/0
2020-04-30 11:45:39
原创 Scala隱式參數隱式值注意事項
package com.zhengkw.scala.day06Exc /** * @ClassName:ImplicitValue * @author: zhengkw * @description: * 注意 *
2020-04-30 11:45:39
原创 Scala中的類型判斷與強轉
object Extra1 { def main(args: Array[String]): Unit = { val a:A = new B // java中判斷類型: a insta
2020-04-27 15:49:08
原创 Scala中的單例對象、伴生對象和伴生類
單例對象 這個是scala提供的！ object 對象名{ // 也可以寫代碼 def main(args: Array[String]){ // 入口 } } 繼承了Apptrait o
2020-04-27 15:49:08