原创 Structured Streaming 思維的導圖整理
部分詳情如下: 自己整理的一份Structured Streaming 思維導圖,後續還會有其它的思維導圖分享,盡請期待!!! 提取地址: 鏈接: https://pan.baidu.com/s/1eEQImw46XijcqWR
2020-05-12 06:09:33
原创 spark sparkStreaming思維導圖
大綱如下: 部分詳情如下: 自己整理的一份spark_streaming 思維導圖,後續還會有其它的思維導圖分享,盡請期待!!! 提取地址: 鏈接: https://pan.baidu.com/s/1T3WlvpLQEHC-t
2020-05-12 06:09:33
原创 java 訪問節假日(https)接口,獲取JSON
import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.net.HttpUR
2020-05-03 08:28:09
原创 Kettle使用 js 文件生成節假日表文件 附帶2019-2020節假日文件
文章目錄js 文件 (todo 標註的需要修改)kettle 操作1. 生成記錄2.增加序列3. 使 js 文件中的變量名跟序列的變量名對應上,並修改url4.測試腳本文件並預覽5.獲取需要的字段6.使用excel輸出 指定輸出路
2020-05-03 08:28:09
原创 Spark SQL 的開窗函數
文章目錄1. 介紹2. 聚合函數和開窗函數的對比3. 開窗函數分類3.1 聚合開窗函數3.2 排序開窗函數4. 開窗函數示例1. 聚合開窗函數示例5. 排序開窗函數5.1 `ROW_NUMBER`順序排序5.2 `RANK`跳躍排
2020-04-28 17:29:01
原创 spark sql 和 hive 中求一個日期星期幾
今天使用sparksql 求星期幾,找了很多方法比較麻煩,還有用case的,最後總結出兩種簡單的,記錄一下 在低版本的spark sql 和hive 中求一個日期星期幾 select 7- datediff(next_day
2020-04-28 17:29:01
原创 kafka 常用的命令
文章目錄1. 創建topic2. 查看所有的topic3.模擬生產者生產數據4.模擬消費者消費數據5. 查看指定topic的詳情信息6. 查看每個分區中分別有多少條數據7. 增加topic分區數8. 增加配置9. 刪除配置10.
2020-04-25 01:24:35
原创 Redis如何大批量處理數據
情景（面試題） 有些時候，Redis實例需要裝載大量用戶在短時間內產生的數據。該怎麼做？ 分析 如果我們直接循環要插入的數據，每一條數據通過set方法插入數據庫，這勢必會消耗大量的網絡連接和耗時。 解決方法 1.管道（pi
2020-04-23 08:07:08
原创 Struct Streaming 實例三 指定輸出格式
文章目錄數據如下題目如下第1題方式一方式二第2.1題第2.2題第3題 數據如下 鏈接: https://pan.baidu.com/s/1KrG0q0rhFM450H1in3og3g 提取碼: 8ysc 題目如下 1、使用S
2020-04-21 14:44:29
原创 spark SQL 讀取文件,進行SQL查詢
文章目錄數據如下題目如下第一題第二題 數據如下 題目如下 1、請使用spark sql讀取Student_Score文件夾寫的csv文件 1.1、統計出每個班級的最高分數 1.2、統計出男生最高分 1.3、統計出女生最高分 1.4
2020-04-21 14:44:29
原创 使用Spark Streaming從kafka中讀取數據把數據寫入到mysql 實例
文章目錄一、 題目題目和數據二、 pom依賴三、建表語句四、 連接kafka配置類五、 自定義分區類六、 讀取數據併發送數據七、 消費數據,把數據存儲到mysql 一、 題目 題目和數據 鏈接: https://pan.baidu
2020-04-19 09:22:29
原创 Spark StructStreaming實例一
文章目錄項目依賴1. socket 方式讀取nc中的訪問2.讀取json3. 集成kafka準備工作 項目依賴 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http
2020-04-19 09:22:29
原创 sparkSQL 在idea使用UDAF函數,項目實例
文章目錄一、 說明1.spark 已經整合過hive (沒整合過可以參考以下鏈接)二、創建maven項目導入pom 文件三、項目準備工作準備工作做完之後效果圖如下四、項目測試工作1.在test的scala目錄下創建一個Test01
2020-04-19 09:22:29
原创 sparkSQL 整合hive
文章目錄1. Hive開啓MetaStore服務在 $HIVE_HOME/conf/hive-site.xml中添加如下配置2. 啓動 metaStore 和 hiveserver23. SparkSQL整合Hive MetaSt
2020-04-19 09:22:29
原创 structStreaming 實例二從Kafka 中讀取數據保存到mysql中
文章目錄依賴主類保存數據 依賴 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0"
2020-04-19 09:22:29