原创 Leetcode島嶼問題彙總-圖的遍歷

Leetcode島嶼問題彙總-圖的遍歷 leetcode中的島嶼問題,本質上是圖的遍歷問題,所以我們需要先了解什麼事圖的遍歷,以及一般的遍歷方法。 圖的遍歷 圖的遍歷,屬於數據結構中的內容。指的是從圖中的任一頂點出發,對圖中的所有頂點訪問

原创 Azkaban的部署及應用

目錄 Azkaban的部署及應用 Azkaban的特點 Azkaban的架構 Azkaban的安裝 Azkaban的部署 生成密鑰庫 時間同步設置 配置文件 Web服務器配置 執行服務器配置 啓動服務器 Azkaban的部署及應用 Azk

原创 Spark持久化策略_緩存優化

目錄 Spark持久化策略_緩存優化 RDD的持久化策略 cache和persist的源碼 MEMORY_ONLY和MEMORY_AND_DISK 總結 Spark持久化策略_緩存優化 RDD的持久化策略 當某個RDD需要進行頻繁複用的時

原创 Spark調度解析

目錄 Spark調度解析  1.相關術語 2.作業、階段、任務之間的關係 如何劃分作業(Job) 如何劃分階段(Stage) 如何劃分任務(Task) 總結 3.Spark運行流程 參考文獻 Spark調度解析  1.相關術語 Appli

原创 Leetcode鏈表問題

目錄 Leetcode鏈表問題 鏈表翻轉問題 Q1_25. K 個一組翻轉鏈表 Q2_24. 兩兩交換鏈表中的節點 鏈表合併問題 Q3_21. 合併兩個有序鏈表 Leetcode鏈表問題 對刷到的鏈表問題進行一下彙總。(持續更新) 鏈表翻

原创 Spark的安裝與部署

目錄 Spark的安裝與部署 Spark概述 Spark特點 Spark與MapReduce對比 Spark體系結構 Spark部署  僞分佈式部署 完全分佈式 Spark的安裝與部署 Spark概述 Spark是一種快速、通用、可擴展的

原创 Hbase的簡介與安裝

目錄 Hbase的簡介與安裝 HBase簡介 HBase架構 HBase數據模型 邏輯模型 物理模型 Hbase和Hive的區別 HBase的部署與安裝 軟件準備 部署過程 Hbase的簡介與安裝 HBase簡介 HBase是基於Hado

原创 回溯+剪枝

目錄   回溯+剪枝 概念 例題 練習 回溯+剪枝 概念 回溯算法也叫試探法,它是一種系統地搜索問題的解的方法。 用回溯算法解決問題的一般步驟: 1、 針對所給問題,定義問題的解空間,它至少包含問題的一個(最優)解。 2 、確定易於搜索的

原创 Azkaban使用實例

目錄   Azkaban使用實例 單一job案例 多job工作流案例 java操作任務 Hadoop操作任務 Hive腳本任務 Azkaban使用實例 Azkaba內置的任務類型支持command、java。 單一job案例 針對於不存在

原创 寒假作業 && 剪郵票

寒假作業 package lanqiao.lanqiao_2016; /** * Created by ministrong on 2020/3/5. * 寒假作業 現在小學的數學題目也不是那麼好玩的。 看看這個寒假作業:

原创 整理一下LinkedHashMap的用法

前情提要 在Leetcode上遇到這樣一道題: 146. LRU緩存機制 運用你所掌握的數據結構,設計和實現一個  LRU (最近最少使用) 緩存機制。 它應該支持以下操作: 獲取數據 get 和 寫入數據 put 。 獲取數據 get(

原创 Flume(二)

Flume(二) 目錄 Flume(二) 案例一:監控端口數據 案例二:實時讀取本地文件到HDFS 案例三:實時讀取目錄文件到HDFS 案例一:監控端口數據 目標:Flume監控一端Console,另一端Console發送消息,使被監控端

原创 Flume的扇入與扇出

目錄   Flume的扇入與扇出 案例四:單Flume多Channel、Sink(扇出) 案例五:多Flume彙總數據到單Flume Flume的扇入與扇出 之前的案例都只有一個Flume的客戶端工作,其實Flume之間也可以進行數據傳遞

原创 SBT、MAVEN、IVY的區別與聯繫

目錄 java.lang.NoClassDefFoundError: scala/reflect/internal/Trees SBT、MAVEN、IVY的區別與聯繫 參考文獻   java.lang.NoClassDefFoundErr

原创 從源碼看HashMap和HashTable的區別

目錄 從源碼看HashMap和HashTable的區別 1.繼承的父類不同 2.默認容量和擴容方式不同 (1)默認容量 (2)擴容方式 3.線程安全性不同 (1)是否使用synchronized關鍵字 (2)使用的hash值不同 (3)k