[大數據項目]-0020-基於Storm構建實時熱力分佈項目實戰

2018最新最全大數據技術、項目視頻。整套視頻,非那種淘寶雜七雜八網上能免費找到拼湊的亂八七糟的幾年前的不成體系浪費咱們寶貴時間的垃圾,詳細內容如下,視頻高清不加密,需要的聯繫QQ:3164282908(加Q註明51CTO)。

 

  • 第1章 課程導學

    介紹課程相關背景,學習建議等等

    • 1-1 01-導學_

    • 1-2 -OOTB環境使用演示

    • 1-3 -授課習慣與學習建議

  • 第2章 初識實時流處理Storm

    Storm作爲近幾年Hadoop生態圈很火爆的大數據實時流處理框架,是成爲大數據研發工程師必備的技能之一。 本章將從如下幾個方面讓大家對於Storm有宏觀上的認識:什麼是Storm、Storm的發展史、Storm對比Hadoop的區別、Storm對比Spark Streaming的區別、Storm的優勢、Storm應用現狀及發展趨勢、Storm應用案例分享...

    • 2-1 -課程目錄

    • 2-2 -Storm是什麼

    • 2-3 -Storm發展歷史之從Twitter說起

    • 2-4 -Storm發展歷史之Storm的成長

    • 2-5 -Storm技術網站介紹

    • 2-6 -Storm和Hadoop的區別

    • 2-7 -Storm和Spark Streaming的區別

    • 2-8 -Storm的優勢

    • 2-9 -Storm當前現狀與發展趨勢

    • 2-10 -Storm應用案例分享

  • 第3章 Storm核心概念

    本章節將從如下幾個方面帶大家深入理解Storm的核心概念:初識Storm核心概念、通過日常生活的案例來理解Storm的核心概念、根據官網的描述來理解Storm核心概念、最後通過畫圖講解的方式講解Storm的核心概念。相信通過多角度對比進行講解Storm的核心概念,讓大家掌握的更加深刻。因爲Storm的核心概念的理解是後續Storm課程學習...

    • 3-1 -課程目錄

    • 3-2 -初識Storm核心概念

    • 3-3 -Storm核心概念理解記憶概述

    • 3-4 -Storm核心概念理解記憶之地鐵運行模型

    • 3-5 -Storm核心概念理解記憶之Storm

    • 3-6 -Storm核心概念小結

    • 3-7 -Storm核心概念官網詳解

    • 3-8 -圖解Storm核心概念

  • 第4章 Storm編程

    本章節將手把手帶大家搭建基於IDEA+Maven的Storm的開發環境,通過案例融合Storm編程中常用API的使用以及開發過程中的注意事項。

    • 4-1 -課程目錄

    • 4-2 -Storm開發環境搭建

    • 4-3 -Storm核心接口ISpout詳解

    • 4-4 -Storm核心接口IComponent詳解

    • 4-5 -Storm核心接口IBolt詳解

    • 4-6 -Storm求和案例編程之Spout功能實現

    • 4-7 -Storm求和案例編程之Bolt功能實現

    • 4-8 -Storm求和案例編程之Topology提交功能實現及測試

    • 4-9 -Storm詞頻案例編程之Spout功能實現

    • 4-10 -Storm詞頻案例編程之Bolt功能實現

    • 4-11 -Storm詞頻案例編程之Topology提交功能實現及測試

    • 4-12 -Storm編程注意事項

  • 第5章 Storm周邊框架使用

    本章節將帶領大家學習Storm周邊常用框架的使用,比如:ZooKeeper、Kafka、Logstash、以及Logstash與Kafka的整合使用。

    • 5-1 -課程目錄

    • 5-2 -JDK安裝

    • 5-3 -ZooKeeper概述及環境搭建

    • 5-4 -ZooKeeper使用詳解

    • 5-5 -Logstash概述及部署

    • 5-6 -Logstash使用之控制檯輸入輸出

    • 5-7 -Logstash使用之文件輸入控制檯輸出

    • 5-8 -Kafka概述

    • 5-9 -Kafka架構及核心概念

    • 5-10 -Kafka單節點單broker的部署及使用

    • 5-11 -Kafka單節點多broker部署及使用

    • 5-12 -Kafka容錯性測試

    • 5-13 -Logstash使用之整合Kafka

  • 第6章 Storm架構及部署

    本章節將學習Storm的架構以及各個核心組件的功能、並搭建Storm的單機環境和分佈式環境、如何提交/查看/殺死Storm作業、Storm UI界面參數介紹

    • 6-1 -課程目錄

    • 6-2 -Storm架構詳解

    • 6-3 -Storm單機部署之前置條件及解壓

    • 6-4 -Storm單機部署之啓動Storm各節點及Storm UI界面詳解

    • 6-5 -改寫Storm作業並提交到Storm單節點集羣運行

    • 6-6 -Storm常用命令介紹

    • 6-7 -Storm集羣部署規劃

    • 6-8 -Storm集羣部署之軟件包分發和jdk部署

    • 6-9 -Storm集羣部署之ZooKeeper分佈式環境部署

    • 6-10 -Storm集羣部署之Storm集羣部署及啓動

    • 6-11 -提交Storm作業到集羣中運行&目錄樹介紹

  • 第7章 並行度

    本章節將重點講解Storm的優化中的核心:並行度調整(worker數量、executor數量、task數量),將通過對代碼的修改並提交到Storm環境上去運行,結合Storm UI上展示的參數效果來進行調優,讓大家對於Storm的並行度有更加深入的理解,本章節是學習和麪試過程中重中之重,務必掌握。...

    • 7-1 課程目錄_

    • 7-2 -並行度概念詳解

    • 7-3 -如何將Storm集羣模式更改爲單機模式

    • 7-4 -Storm作業運行UI頁面上的參數詳解

    • 7-5 -worker數量的設置

    • 7-6 -executor數量的設置

    • 7-7 -task數量的設置

    • 7-8 -acker的設置

    • 7-9 -並行度案例講解及並行度動態調整

  • 第8章 分組策略

    本章節將帶來大家通過代碼以及UI參數展現的方式來學習Storm中的常用分組策略:Shuffle分組策略、Field分組策略、All分組策略。本章節也是Storm開發過程中務必要掌握的部分。

    • 8-1 -課程目錄

    • 8-2 -Stream Grouping概述

    • 8-3 -Shuffle Grouping開發詳解

    • 8-4 -FieldGrouping開發詳解

    • 8-5 -AllGrouping開發詳解

    • 8-6 -Stream Grouping其他

  • 第9章 Storm可靠性

    本章節將從如下方面來講解Storm框架的可靠性:Worker進程、Supervisor進程、nimbus進程、節點、以及消息處理的確認機制(ack/fail)。本章節是面試過程中經常會被考覈到的。

    • 9-1 -課程目錄

    • 9-2 -Storm進程級別的容錯

    • 9-3 -Storm的ack和fail機制

  • 第10章 DRPC

    本章節將講解什麼是RPC機制、Hadoop中的RPC使用介紹、如何開發Storm的基於本地和遠程模式的DPRC編程

    • 10-1 -課程目錄

    • 10-2 -RPC原理圖解

    • 10-3 -基於Hadoop的RPC實現.mp4

    • 10-4 -Storm DRPC概述

    • 10-5 -Storm Local DRPC開發

    • 10-6 -Storm Remote DRPC及客戶端代碼開發

  • 第11章 Storm整合其他大數據框架的使用

    本章節將講解Storm如何整合Redis、JDBC、HDFS、HBase、ES等常用的大數據框架綜合使用。在生產環境中,Storm都是需要整合周邊框架一起配合使用,各自完成自己的職責,進而完成大數據的實時流處理項目

    • 11-1 -課程目錄

    • 11-2 -Storm整合Redis使用概述

    • 11-3 -Storm整合Redis編程開發

    • 11-4 -Storm整合jdbc概述

    • 11-5 -Storm整合JDBC編程開發

    • 11-6 -Storm整合HDFS使用概述

    • 11-7 -HDFS環境快速搭建

    • 11-8 -Storm整合HDFS編程開發

    • 11-9 -Storm整合HBase概述

    • 11-10 -HBase環境快速搭建

    • 11-11 -Storm整合HBase編程開發

    • 11-12 -Storm整合Elasticsearch概述

  • 第12章 Storm綜合項目實戰

    本章節將帶領大家使用Logstash+Kafka+Storm+高德地圖來實現基於一個交通數據的熱力圖的實時展示項目,通過該項目使得大家能夠具備和掌握如何使用Storm來架構一個實時流處理項目的能力

    • 12-1 -課程目錄

    • 12-2 -項目概述

    • 12-3 -如何採集實時區域人流量數據.mp4

    • 12-4 -項目架構

    • 12-5 -高德地圖API基本使用

    • 12-6 -高德地圖API常用工具介紹

    • 12-7 -高德地圖熱力圖靜態數據展示

    • 12-8 -Storm整合Kafka原理

    • 12-9 -Storm整合Kafka功能開發

    • 12-10 -Storm整合Kafka功能測試

    • 12-11 -Logstash和Kafka的整合注意事項詳解

    • 12-12 -數據源產生器開發

    • 12-13 -打通整條實時流處理流程鏈路

    • 12-14 -項目處理及表結構設計

    • 12-15 -Storm處理結果存儲到數據庫中

    • 12-16 -通過SQL完成我們的最終結果統計

    • 12-17 -基於SpringBoot構建Web項目

    • 12-18 -動態獲取數據並在高德地圖上展示出熱力圖

    • 12-19 -添加統計的時間範圍並在熱力圖上展示

    • 12-20 -項目擴展

  • 第13章 課程總結

    對課程回顧總結

    • 13-1 課程總結及後續課程計劃


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章