原创 我的大數據之旅-Spark創建RDD的兩種方式
什麼是RDD The main abstraction Spark provides is a resilient distributed dataset (RDD), which is a collection of elements
2020-06-22 09:14:06
原创 我的大數據之旅-Linux安裝scala
scala下載 到Scala官網下載相應的版本，安裝scala的前提是，你的linux安裝了jdk8.0及以上 安裝scala scala下載完成之後，用工具上傳到linux對應的目錄 解壓到目錄/opt/module [fengli
2020-06-22 09:14:06
原创 Java8 LocalDate 根據給定的日期，獲取該日期上一週的週一週日
開發中，經常遇到要求取某個周的週一週日，在java8 之前比較麻煩。java8之後用LocalDate 或LocalDateTime處理日期的問題就簡單的太多了。 import java.time.DayOfWeek; import
2020-02-25 07:36:39
原创 我的大數據之旅-Flink 批處理文本文件 word count
目錄 前言： 需求： 通過Flink統計一個文本文件裏單詞個數 實現： 新建Flink項目 創建批處理類 結果 前言： 對比Spark、Flink開發流程，發現Flink的開發流程比較簡單明瞭。 主要分幾個步驟： env ：設置運行環
2020-02-25 07:36:39
原创 我的大數據之旅-配置ZooKeeper集羣
目錄 1.集羣規劃 2.解壓安裝 3.配置zoo.cfg 4.集羣操作 可能遇到的問題 1.集羣規劃 hadoop129、hadoop130、hadoop131三臺服務器上配置zookeeper集羣 2.解壓安裝 （1）解壓zooke
2020-02-25 07:36:39
原创 java easypoi使用模板導出Excel，合併單元格
工作幾年，每年都有java數據導出Excel的需求，從最初的POI到公司封裝的工具再到阿里的EasyExcel。總是有這個那個的小痛點，最近發現easypoi比較滿足工作需求，可以很好的導出數據並處理單元格合併的問題，pe
2020-02-25 07:36:39
原创 我的大數據之旅-Spark DStreams輸入
DStream輸入 基本數據源 文件數據源 創建方式： StreamingContext.fileStream[KeyClass, ValueClass, InputFormatClass] 文本文件： streamingCo
2020-02-25 07:36:39
原创 我的大數據之旅-Spark Streaming wordcount
創建maven項目： 打包的時候注意修改成自己項目的包名。 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0
2019-10-27 08:59:33
原创 我的大數據之旅-Spark RDD、DataFrame、DataSet之間的轉換
目錄 RDD轉DataFrame：（rdd.toDF()） RDD轉DataSet：（rdd.toDS()） DataFrame、DataSet轉RDD：(dataFrame.rdd、dataSet.rdd) DataFrame轉Da
2019-10-26 10:32:15
原创 我的大數據之旅-Spark SQL DataFrame常用操作
package com.fengling.sql import org.apache.spark.SparkConf import org.apache.spark.sql.{DataFrame, SparkSession} impo
2019-10-26 10:32:15
原创 我的大數據之旅-Spark Dataset和RDD互操作
目錄 通過反射獲取Schema 通過編程設置Schema（StructType） 通過反射獲取Schema 在scala接口中，Spark SQL支持自動將包含case類的RDD轉換成DataFrame。case類定義了table
2019-10-26 10:32:15
原创 我的大數據之旅-Spark SQL通用加載、保存方法
目錄 Spark SQL輸入： 通用模式： 高級模式 Spark SQL輸出： 思維導圖 Spark SQL輸入： 通用模式： 不指定輸入文件類型：sparkSession.read.load("path") scala> val us
2019-10-26 10:32:15
原创 我的大數據之旅-Spark 用戶自定義函數
用戶自定義UDF函數 scala> spark.udf.register("addName",(x:String) => "Name: " + x) res1: org.apache.spark.sql.expressions.User
2019-10-26 10:32:15
原创 我的大數據之旅-CentOS7安裝、JDK8安裝
目錄 一、系統安裝 二、windows host文件修改 一、系統安裝 1. 新建虛擬機 2.高級》下一步 3.下一步 4.稍後安裝系統》下一步 5.Linux》CentOS7 64》下一步 7.配置名稱和安裝位置》下一步
2019-09-06 08:23:31
2
原创 Scala學習（四）- while循環、do...while循環、break
Scala的while循環與Java的語法結構基本上差不多 While循環 /** * @author [email protected] * @date 2019/8/24 */ object WhileDemo
2019-08-29 09:09:27
1