原创 Hive之函數的使用

Hive中的函數1. 系統內置函數1)查看系統自帶函數2)顯示自帶的函數的用法3)詳細顯示自帶的函數的用法2. 自定義函數1)說明2)自定義函數類別3)編程步驟3. 自定義UDF函數1)舊API2)新API 1. 系統內置函數 1

原创 Spark Streaming項目實戰之實時的分析處理用戶對廣告點擊的行爲數據

使用Spark Streaming實時的分析處理用戶對廣告點擊的行爲數據1. 準備數據1.1 數據生成方式1.2 數據格式1.3 模擬數據生成及從Kafka中讀取數據2. 需求一:每天每地區熱門廣告Top32.1 需求分析2.2

原创 SparkStreaming之DStream的創建方式

SparkStreaming之DStream的創建方式1. RDD隊列(瞭解)1.1用法及說明1.2 案例實操2. 自定義數據源2.1 用法及說明2.2 案例實操3. Kafka數據源(面試開發重點)3.1 版本選型3.2 Kaf

原创 SparkStreaming入門+WordCount案例

SparkStreaming入門+WordCount案例1. Spark Streaming概述1.1 離線和實時的概念1.2 批量和流式的概念1.3 Spark Streaming是什麼1.4 Spark Streaming特點

原创 SparkCore之累加器的使用

SparkCore之累加器的使用1. 系統累加器1.1 累加器的說明1.2 使用步驟1.3 案例實操2. 自定義累加器2.1 說明2.2 自定義累加器的步驟2.3 案例實操 1. 系統累加器 1.1 累加器的說明 累加器:分佈式

原创 Scala編程語言之匹配對象及樣例類

匹配對象及樣例類 1.匹配對象 1)基本語法 class User(val name: String, val age: Int) object User{ def apply(name: String, age: I

原创 SparkCore之廣播變量

SparkCore中的廣播變量 1.定義 廣播變量:分佈式共享只讀變量 2.爲什麼使用廣播變量 在多個並行操作中(Executor)使用同一個變量,Spark默認會爲每個任務(Task)分別發送,這樣如果共享比較大的對象,會

原创 SparkCore之項目實戰

SparkCore之項目實戰1. 數據準備1)數據集2)數據格式說明3)數據詳細字段說明2. 需求一:Top10熱門品類1)需求說明2)需求分析3)代碼實現3. 需求二:Top10熱門品類中每個品類的Top10活躍Session統

原创 Scala編程語言之Scala入門

Scala入門 一、Scala概述 1. 爲什麼學習Scala語言 2.Scala語言的發展歷史 3.Scala語言與Java語言的關係 一般來說,學Scala的人,都會Java,而Scala是基於Java的,因此我們需要將S

原创 電商數據倉庫之項目需求及架構設計

電商數據倉庫之項目需求及架構設計 1.數據倉庫概念 2.項目需求及架構設計 2.1項目需求 2.2 項目框架 1.技術選型 2.系統數據流程設計 3.框架版本選型 (1)如何選擇? (2)具體版本選型 具體實踐的是Apa

原创 尚硅谷 day05 Java方法(method)和重載(overload)

第五天 方法(method)和重載(overload) 1.特殊流程控制語句 (1)break break作用:中斷循環或switch或語句;中斷的是距離break最近的循環。 帶標籤的break:跟着標籤走就完了,brea

原创 Eclipse使用多行註釋快捷鍵代碼格式混亂問題

Eclipse使用多行註釋快捷鍵代碼格式混亂問題 第一步 第二步 第三步 第四步 第五步 點贊 收藏 分享 文章舉報 布萊恩特888 發佈了13 篇原創文章

原创 尚硅谷 day09 Java 數組2

第九天 數組2 1.類模板信息保存在內存中的什麼位置, 裏面包含了哪些信息, 類模板信息的特點和作用是什麼? (1)保存在內存的方法區內; (2)類中的方法代碼,屬性的定義信息; (3)特點:類模板只有一個; (4)作用

原创 尚硅谷 day10 Java 排序算法和二維數組

排序算法和二維數組 1.增強型for循環,也稱爲foreach循環 (1)格式 for(數組元素數據類型 臨時變量 :數組名) { 訪問臨時變量; } (2)作用:對數組的訪問是隻讀的,常用於數組的遍歷。 (3)使用下標時用for

原创 尚硅谷 day07 Java 面向對象2

第七天 面向對象2 1.垃圾對象 什麼是垃圾對象? 垃圾對象會被立刻清理嗎? 如何清理垃圾? 垃圾對象:堆空間中沒有引用所指向的對象; 垃圾對象不一定會被立刻清理; GC自動清理垃圾;操作:把垃圾對象佔用的內存空間標記