原创 Java 中三個修飾符及相關概念
abstract（抽象的） 1.修飾類 --> 抽象類 抽象類 不能創建對象,可以聲明引用 抽象類可以定義屬性和方法以及構造方法。 構造方法是在創建子類對象時使用(創建子類對象 先創建父類對象) 2.修飾方法 --> 抽象方
2020-07-03 03:37:17
原创 Java 中內部類簡單概念
概念：在一個類內部定義的類 1.內部類會生成獨立的.class文件。文件名Outer$Inner.class 2.內部類可以訪問外部類的私有屬性，從而不破壞外部類的封裝性 成員內部類（類比成員變量） 1.定義位置：類以內，方法以外
2020-07-03 03:37:17
原创 Java 中參數簡單介紹
存在的問題： 1.可複用性差 2.可讀性差 3.可維護性差 4.代碼重複率高 概念：一段功能代碼，可以通過名字反覆使用 函數的使用流程 1.函數的聲明 約定函數的功能（形參，返回值類型） public static 返回值類型
2020-07-03 03:37:17
原创 Java 中接口的簡單概念
概念：一種標準，一種規範；是使用者和實現者之間的一種約定。 接口的語法： 1.interface 接口名 { } 2.接口不能創建對象，但是可以聲明引用。 3.接口會生成.class文件 4.接口不能定義構造方法 5.接口中的屬性
2020-07-03 03:37:17
原创 Java 中數組簡單介紹
概念：一組連續的存儲空間，存儲多個相同數據類型的數據 語法 1.聲明數組 數據類型[] 數組名; int[] a; int []a; int a[]; 2.分配空間 數組名 = new 數據類型[數組長度]; a = ne
2020-07-03 03:37:17
原创 線程 總結（二）
線程池 //線程池 -- 》 Executors.newFixedThreadPoo() 獲取線程池 ExecutorService es = Executors.newFixedThreadPool(2); Runnable
2020-07-03 03:37:17
原创 線程 總結（一）
進程：操作系統上併發運行的一個程序。 併發：由cpu分配時間片執行 微觀串行，宏觀並行 線程：進程中併發的一個任務 線程的組成 1.cpu 2.數據 堆空間共享 棧空間獨立 3.代碼 創建線程的方式 1.實現Runnable接
2020-07-03 03:37:17
原创 Scala中的 模式匹配，樣例類，密封類 與示例代碼
模式匹配 類易於Java中的swith…case語句，但是功能比Java的強大 根據不同情況進行匹配操作，Scala模式匹配除對值匹配之外，還可以進行類型的匹配，集合，樣例類等複雜匹配 基本語法 值匹配 object MathPa
2020-05-10 10:15:54
原创 Scala中的 隱式轉換 與示例代碼
隱式轉換函數指的是以implicit關鍵字聲明的帶有單個參數的函數。這樣的函數將被自動應用，將值以一種類型轉換成另一種類型。隱式轉換函數通常不會由用戶手動調用，而是由Sacala進行調用。如果要進行隱式轉換，則需要對隱式轉換函數進
2020-05-08 22:44:27
原创 Kafka Streams中的Windowing（窗口計算）與簡單代碼示例
Windowing在流式計算中將流數據按照時間劃分爲一個個窗口區間，對窗口區間內的數據引用計算規則，並獲得窗口計算結果。 Trumbling（翻滾窗口） 特點：大小固定，窗口和窗口間的數據無重合 相關代碼： stream .f
2020-05-07 09:06:25
原创 什麼是JDBC事務？如何使用JDBC如何控制事務
oracle數據庫中最小的執行單元，這個執行單元中是由多個sql語句組成，事務中的sql語句執行結果。要麼全部成功，要麼全部失敗，它保證業務操作（功能）的完整性和正確性（一致性），其特性包含了 原子性（atomic）： 一個事務中
2020-05-07 09:06:25
原创 Spark廣播變量和累加器（示例代碼）
默認：Spark應用的算子函數中如果使用到Driver程序定義的變量，則該變量會進行反序列化並且拷貝每一個Task中，Task實際上對拷貝變量副本進行操作。 缺點： 1.內存式計算：拷貝多份相同外部變量，浪費計算節點內存空間。
2020-05-07 09:06:25
原创 IntelliJ IDEA中設置虛擬機運行時參數
第一步：打開 Run -> Edit Configurations 第二步：在VM Options 中設置參數 -DHADOOP_USER_NAME=root
2020-05-07 09:06:25
原创 Flume常用組件（Source，Channel，Sink）及其基本作用
Source組件類型 Netcat Source 接受來自於數據客戶端的請求數據，常用於測試開發 Exec Source 運行一個給定的unix指令，將指令的執行結果作爲數據來源 Spooling Directory Source
2020-05-07 09:06:25
原创 HDFS架構中重要概念
HDFS Hadoop Distributed File System 分佈式文件存儲 1.主從式架構 2.存儲數據時，沒有物理上線 注意： HDFS集羣 不適合存儲大量的小文件 HDFS集羣 存儲的文件 使用一次寫入多次操作場景
2020-05-07 09:06:25