原创 scala中_的作用

1、初始化時 object Sample { var name:String=_ def main (args: Array[String]){ name="hello world" println(n

2020-02-25 19:45:40

原创 haddop2新特性

Hadoop2中新增的兩個最重要的特性就是HA和聯邦機制： HA是爲了解決hdfs主從架構中典型的單點故障問題（當主結點宕機時迅速切換備用結點），聯邦機制是允許多臺namenode通過共享存儲系統zookeeper、NFS(網絡文件系統，

2020-02-25 19:45:30

原创 hadoop中的DistCp和FastCopy

DistCp是集羣內部或者集羣之間高性能拷貝工具，使用mapreduce實現文件分發、數據處理、報告生成。 DistCp1最大的特點就是map-only，可以加快文件傳輸速度。由於需要保證文件中block塊的有序性，mapreduce以文

2020-02-25 19:45:30 6

原创 java代理模式

代理是一種常用設計模式，其目的就是爲其他對象提供一個代理以控制對某個對象的訪問。代理類負責爲委託類預處理消息，過濾消息並轉發消息，以及進行消息被委託類執行後的後續處理。 靜態代理的一個代理只能代理一種類型，而且是在編譯器就已經確定被代理的

2018-09-03 17:52:23 2

原创 java基礎

String str = "abcd"; // str是一個類類型變量，"abcd"是一個對象 String str1 = new String("abcd"); str 只有常量池對象"abcd";str1 既有常量池對象，又有類Str

2018-09-03 17:52:23

原创 java面向對象

1、.點操作符       作用：引用一個類的成員變量或者成員方法       使用：先創建類的實例對象，對象.的方式調用 2、構造函數       給類型不一的成員初始化成員值       構造函數沒有返回值       通過new關鍵

2018-09-03 17:52:23 4

原创 kafka

—————————————————————————————————————————————————————————————————————————————— 消息系統： 分爲兩種p2p模式（point-to-point，點對點，QQ中一對

2018-09-03 17:52:23

原创 面試三種設計模式

1、裝飾模式     ************************************************************************************************************

2018-09-03 17:52:22 2

原创 java序

java是面向對象的語言。這門語言其實相當年輕，於1995年纔出現，有sun公司出品。James Gosling領導了java的項目小組。該項目的最初只想爲家電設計一門容易移植的語言。然而，在獲得了Netscape瀏覽器的支持後，java

2018-09-03 17:52:22

原创 lambda表達式

lambda表達式是java8的重要特性 lambda表達式支持將一個表達式或者一個代碼塊作爲參數，允許使用更簡潔的代碼來創建只有一個抽象方法的接口(這種接口被稱爲函數式接口)的實例。lambda表達式可以用於簡化創建匿名內部類對象。 l

2018-09-03 17:52:22

原创 scala面向函數式編程

1、函數參數是函數時，稱爲高階函數。 2、函數和變量的地位是等價的 3、//將函數本身賦給變量       def fun1(name: String){println(name)}       val fun1_v = fun1 _  

2018-09-03 17:52:22

原创 初識flume

———————————————————— 初識flume 1、flume只有一個角色agent（代理），其中agent由三部分組成：       source類似於producer       channel類似於broker      

2018-09-03 17:52:22

原创 storm基本概念

1、topologies 實時計算邏輯框架，相當於hadoop的mapreduce       spouts發送stream到bolts進行處理       發送的過程分爲：       a、shuffle grouping 隨機均勻分組

2018-09-03 17:52:22

原创 java匿名內部類

匿名內部類必須繼承一個父類或者實現一個接口。匿名內部類不能是抽象類，因爲系統在創建匿名內部類時，會立即創建匿名內部類的對象，因此不允許匿名內部類爲抽象類。 匿名內部類不能定義構造器，由於匿名內部類沒有類名，所以無法定義構造器，但匿名構造類

2018-09-03 17:52:22

原创 文件操作

1、數組、變量、對象中存儲的數據是暫時的。當想要永久存儲時，需要進行文件操作。 2、File類關心的是在磁盤上文件的存儲 3、Windows文件目錄分割符是\，Linux中文件目錄分隔符是/ 4、常用文件操作要熟悉 5、//流操作    

2018-09-03 17:52:22