原创 大數據簡答題
目錄 一.Hadoop 1.hdfs寫流程 2.hdfs讀流程 3.hdfs的體系結構 4.一個datanode 宕機,怎麼一個流程恢復 5.hadoop 的 namenode 宕機,怎麼解決 6.namenode對元數據的管理
2020-07-06 10:47:00
原创 Spark基礎練習題(RDD)
題目如下👇 1、創建一個1-10數組的RDD，將所有元素*2形成新的RDD 2、創建一個10-20數組的RDD，使用mapPartitions將所有元素*2形成新的RDD 3、創建一個元素爲 1-5 的RDD，運用 flatMap
2020-06-25 22:16:23
原创 Spark中的小案例(RNG S8 失敗後的微博評論)
rng_comment.txt文件中的數據說明 字段 字段含義 index 數據id child_comment 回覆數量 comment_time 評論時間 content 評論內容 da_v 微博
2020-04-25 00:13:56
原创 Kettle(讀取Excel表中的輸入到Hive數據庫中的kettle庫中text表)
Kettle(讀取Excel表中的輸入到Hive數據庫中的kettle庫中text表) 原始數據 操作過程 點擊SQL 進行生成hive中的表 生成的數據
2020-04-23 14:26:59
原创 Kettle(Hive數據寫到Excel中)
Kettle(Hive數據寫到Excel中) 環境配置 將這個文件複製: 放到 原始數據 重啓Spoon.bat 輸出後的數據
2020-04-23 14:26:59