原创 Hadoop之RPC機制

1  RPC機制介紹在學校期間大家都寫過不少程序,比如寫個hello world服務類,然後本地調用下,如下所示。這些程序的特點是服務消費方和服務提供方是本地調用關係。123456public class Test {     publi

原创 Java EE五大框架之 Hibernate 2

1  Hibernate的持久化類1.1  什麼是持久化類 1. 持久化類:就是一個Java類(咱們編寫的JavaBean),這個Java類與表建立了映射關係就可以成爲是持久化類。 * 持久化類 = JavaBean + xxx.hbm.

原创 Hadoop中的RPC應用實例2

1.服務端接口public interface LoginServiceInterface { public static final long versionID=1L; public String login(String user

原创 Hadoop中的RPC應用實例1

hadoop作爲分佈式的系統, 集羣機器之間的通信是最基本,最常見的需求。這種需求本質上是IPC, 即進程間通信。 按照傳統的UINX編程模型,進程間通信無非是如下的幾種方式:管道, FIFO, 消息隊列, 信號量, 共享存儲, 套接字。

原创 Hadoop之本地運行模式詳解

Hadoop的運行模式分爲3種:本地運行模式,僞分佈運行模式,集羣運行模式,相應概念如下: 1、獨立模式即本地運行模式(standalone或local mode) 無需運行任何守護進程(daemon),所有程序都在單個JVM上執行。由於

原创 Hadoop之MapReduce編寫入門和提交集羣運行

1. MapReduce編寫入門對於一個MapReduce程序,我們需要編寫三個類。第一個類是Mapper類,用於實現map的邏輯。第二個類是Reducer類,用於實現reduce邏輯。第三個類用來描述整個邏輯,來建立業務邏輯間的關聯(m

原创 Hadoop之HDFS的Java客戶端編寫

      在使用MapReduce框架進行開發時,總會使用Configuration類的一個實例對象去初始化一個任務,然後進行任務提交,而在整個任務執行過程中,客戶點實例化的Configuration的對象,將作爲整個任務過程中參數版本

原创 Java EE五大框架之 Hibernate 4 ----- Hibernate關聯關係映射

1 技術分析之Hibernate的關聯關係映射之一對多映射因爲客戶和聯繫人是一對多的關係,在有客戶的情況下,完成聯繫人的添加保存操作1.1  JavaWEB中一對多的設計及其建表原則        外鍵可以是null,但是不能是另一個表主

原创 Hadoop Yarn框架原理及運作機制

1 YARN基本架構YARN是Hadoop 2.0中的資源管理系統,它的基本設計思想是將MRv1中的JobTracker拆分成了兩個獨立的服務:一個全局的資源管理器ResourceManager和每個應用程序特有的ApplicationM

原创 Java EE五大框架之 Hibernate 1

0   前言 學習框架之前,首先再來回顧一下EE開發三層結構:1   Hibernate的概述1.1    什麼是框架框架是軟件的半成品,已經完成了相應部分的內容了.只需要實現自己業務即可.1.2    什麼是HibernateHiber

原创 Hadoop之MapReduce程序的3種集羣提交運行模式詳解

1.MapReduce程序的集羣運行模式1MapReduce程序的集羣運行模式1—將工程打成jar包,上傳到服務器,然後用hadoop命令hadoop jar xxx.jar 將jar包分發到集羣中運行。wordcount代碼:packa

原创 Hadoop中的序列化機制

1 序列化的概念1、什麼是序列化? 將結構化對象轉換成字節流以便於進行網絡傳輸或寫入持久存儲的過程。 2、什麼是反序列化? 將字節流轉換爲一系列結構化對象的過程。2 序列化用途:1、作爲一種持久化格式。 2、作爲一種通信的數據格式。 3、

原创 Java EE五大框架之 Hibernate 3

1  Hibernate中的事務與併發1.1  事務相關的概念 1. 什麼是事務 * 事務就是邏輯上的一組操作,組成事務的各個執行單元,操作要麼全都成功,要麼全都失敗. * 轉賬的例子:冠希給美美轉錢,扣錢,加錢。兩個操作組成了一個事情!

原创 Spring之動態切換數據庫

        在做項目時,當數據量很大需要將數據存在不同的數據庫或者希望將不同類型數據存入不同數據庫時,就需要利用Spring進行動態的數據庫切換。 1.1 原理示意圖         其原理如下圖所示:   1.2 數據庫配置  

原创 LVS負載均衡原理

1 LVS簡介 LVS(Linux Virtual Server)即Linux虛擬服務器,是由章文嵩博士主導的開源負載均衡項目,目前LVS已經被集成到Linux內核模塊中。該項目在Linux內核中實現了基於IP的數據請求負載均衡調度方案,