Dubbo與Zookeeper、SpringMVC整合和使用(負載均衡、容錯) 【轉】

互聯網的發展,網站應用的規模不斷擴大,常規的垂直應用架構已無法應對,分佈式服務架構以及流動計算架構勢在必行,Dubbo是一個分佈式服務框架,在這種情況下誕生的。現在覈心業務抽取出來,作爲獨立的服務,使前端應用能更快速和穩定的響應。

 

第一:介紹Dubbo背景

 

    

 

 

 

大規模服務化之前,應用可能只是通過RMIHessian等工具,簡單的暴露和引用遠程服務,通過配置服務的URL地址進行調用,通過F5等硬件進行負載均衡。

(1) 當服務越來越多時,服務URL配置管理變得非常困難,F5硬件負載均衡器的單點壓力也越來越大。

此時需要一個服務註冊中心,動態的註冊和發現服務,使服務的位置透明。

並通過在消費方獲取服務提供方地址列表,實現軟負載均衡和Failover,降低對F5硬件負載均衡器的依賴,也能減少部分成本。

(2) 當進一步發展,服務間依賴關係變得錯蹤複雜,甚至分不清哪個應用要在哪個應用之前啓動,架構師都不能完整的描述應用的架構關係。

這時,需要自動畫出應用間的依賴關係圖,以幫助架構師理清理關係。

(3) 接着,服務的調用量越來越大,服務的容量問題就暴露出來,這個服務需要多少機器支撐?什麼時候該加機器?

爲了解決這些問題,第一步,要將服務現在每天的調用量,響應時間,都統計出來,作爲容量規劃的參考指標。

其次,要可以動態調整權重,在線上,將某臺機器的權重一直加大,並在加大的過程中記錄響應時間的變化,直到響應時間到達閥值,記錄此時的訪問量,再以此訪問量乘以機器數反推總容量。

 

第二:Dubbo的簡介

 

Dubbo是一個分佈式服務框架,解決了上面的所面對的問題,Dubbo的架構如圖所示:

 

節點角色說明:

Provider: 暴露服務的服務提供方。

Consumer: 調用遠程服務的服務消費方。

Registry: 服務註冊與發現的註冊中心。

Monitor: 統計服務的調用次調和調用時間的監控中心。

Container: 服務運行容器。

 

調用關係說明:

0. 服務容器負責啓動,加載,運行服務提供者。

1. 服務提供者在啓動時,向註冊中心註冊自己提供的服務。

2. 服務消費者在啓動時,向註冊中心訂閱自己所需的服務。

3. 註冊中心返回服務提供者地址列表給消費者,如果有變更,註冊中心將基於長連接推送變更數據給消費者。

4. 服務消費者,從提供者地址列表中,基於軟負載均衡算法,選一臺提供者進行調用,如果調用失敗,再選另一臺調用。

5. 服務消費者和提供者,在內存中累計調用次數和調用時間,定時每分鐘發送一次統計數據到監控中心。

 

 

 

 

 Dubbo提供了很多協議,Dubbo議、RMI協議Hessian協議,我們查看Dubbo源代碼,有各種協議的實現,如圖所示:

 

 

我們之前沒用Dubbo之前時,大部分都使用Hessian來使用我們服務的暴露和調用,利用HessianProxyFactory調用遠程接口。

 

上面是參考了Dubbo官方網介紹,接下來我們來介紹SpringMVCDubboZookeeper整合使用。

 

第三:Dubbo與Zookeeper、SpringMVC整合使用

  

  第一步:在Linux上安裝Zookeeper

 

       Zookeeper作爲Dubbo服務的註冊中心,Dubbo原先基於數據庫的註冊中心,沒采用ZookeeperZookeeper一個分佈式的服務框架,是樹型的目錄服務的數據存儲,能做到集羣管理數據 ,這裏能很好的作爲Dubbo服務的註冊中心,Dubbo能與Zookeeper做到集羣部署,當提供者出現斷電等異常停機時,Zookeeper註冊中心能自動刪除提供者信息,當提供者重啓時,能自動恢復註冊數據,以及訂閱請求。我們先在linux上安裝Zookeeper,我們安裝最簡單的單點,集羣比較麻煩。

    (2) 我們放到Linux下的一個文件夾,然後解壓: 

 

      #tar zxvf zookeeper-3.4.6.tar.gz

  (3)然後在對應的zookeeper-3.4.6/conf 下有一個文件zoo_sample.cfg的這個文件裏面配置了監聽客戶端連接的端口等一些信息,Zookeeper 在啓動時會找zoo.cfg這個文件作爲默認配置文件,所以我們複製一個名稱爲zoo.cfg的文件,如圖所示:

     

 

   我們查看一下這個文件的裏面的一些配置信息,如圖所示:

    

  

說明:

 clientPort:監聽客戶端連接的端口。

 tickTime:基本事件單元,以毫秒爲單位。它用來控制心跳和超時,默認情況下最小的會話超時時間爲兩倍的 tickTime

 我們可以對配置文件的端口等或者進行高級配置和集羣配置例如:maxClientCnxns:限制連接到 ZooKeeper 的客戶端的數量等

 (4)啓動Zookeeper 的服務,如圖所示:

    

 到這邊Zookeeper的安裝和配置完成

  第二步:配置dubbo-admin的管理頁面,方便我們管理頁面

    (1)下載dubbo-admin-2.4.1.war包,在Linuxtomcat部署,先把dubbo-admin-2.4.1放在tomcatwebapps/ROOT下,然後進行解壓:

        #jar -xvf dubbo-admin-2.4.1.war

    (2)然後到webapps/ROOT/WEB-INF下,有一個dubbo.properties文件,裏面指向Zookeeper ,使用的是Zookeeper 的註冊中心,如圖所示:

        

   (3)然後啓動tomcat服務,用戶名和密碼:root,並訪問服務,顯示登陸頁面,說明dubbo-admin部署成功,如圖所示:

      

  第三步:SpringMVC與Dubbo的整合,這邊使用的Maven的管理項目

    第一:我們先開發服務註冊的,就是提供服務,項目結構如圖所示:

         

    (1)test-maven-api項目加入了一個服務接口,代碼如下:

 

Java代碼  

  1. public interface TestRegistryService {  

  2.    public String hello(String name);  

  3. }  

  (2)test-maven-console在pom.xml加入Dubbo和Zookeeper的jar包、引用test-maven-apijar包,代碼如下:

 

  

Java代碼  

  1.    <dependency>  

  2.     <groupId>cn.test</groupId>  

  3.     <artifactId>test-maven-api</artifactId>  

  4.     <version>0.0.1-SNAPSHOT</version>  

  5. </dependency>  

  6.   

  7.    <dependency>  

  8.          <groupId>com.alibaba</groupId>  

  9.          <artifactId>dubbo</artifactId>  

  10.          <version>2.5.3</version>  

  11.      </dependency>  

  12.        

  13.       <dependency>  

  14.          <groupId>org.apache.zookeeper</groupId>  

  15. <artifactId>zookeeper</artifactId>  

  16. <version>3.4.6</version>  

  17.      </dependency>  

  18.   

  19.    <dependency>  

  20.      <groupId>com.github.sgroschupf</groupId>  

  21. <artifactId>zkclient</artifactId>  

  22. <version>0.1</version>  

  23.    </dependency>  

(3)test-maven-console實現具體的服務,代碼如下:

Java代碼  

  1.  @Service("testRegistryService")  

  2. ublic class TestRegistryServiceImpl implements TestRegistryService {  

  3. public String hello(String name) {    

  4.     return "hello"+name;  

  5. }  


(4)我們服務以及實現好了,這時要暴露服務,代碼如下:
  

Java代碼  

  1. <?xml version="1.0" encoding="UTF-8"?>  

  2. <beans xmlns="http://www.springframework.org/schema/beans"  

  3.     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"   

  4.     xmlns:jee="http://www.springframework.org/schema/jee"  

  5.     xmlns:tx="http://www.springframework.org/schema/tx"  

  6.     <span style="color:#cc0000;">xmlns:dubbo="http://code.alibabatech.com/schema/dubbo"</span>  

  7.     xmlns:context="http://www.springframework.org/schema/context"  

  8.     xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.1.xsd  

  9.     http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-3.1.xsd  

  10.     http://www.springframework.org/schema/jee http://www.springframework.org/schema/jee/spring-jee-3.1.xsd  

  11.     <span style="color:#990000;">http://code.alibabatech.com/schema/dubbo http://code.alibabatech.com/schema/dubbo/dubbo.xsd</span>  

  12.     http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-3.1.xsd"  

  13.     default-lazy-init="false" >  

  14.    <!-- 提供方應用名稱信息,這個相當於起一個名字,我們dubbo管理頁面比較清晰是哪個應用暴露出來的 -->  

  15.    <dubbo:application name="dubbo_provider"></dubbo:application>  

  16.    <!-- 使用zookeeper註冊中心暴露服務地址 -->    

  17.    <dubbo:registry address="zookeeper://127.0.0.1:2181" check="false" subscribe="false" register=""></dubbo:registry>  

  18.   <!-- 要暴露的服務接口 -->    

  19.   <dubbo:service interface="cn.test.dubbo.registry.service.TestRegistryService" ref="testRegistryService" />        

  20. </beans>  

  

 

說明:

   dubbo:registry 標籤一些屬性的說明:

      1register是否向此註冊中心註冊服務,如果設爲false,將只訂閱,不註冊

      2check註冊中心不存在時,是否報錯。

      3subscribe是否向此註冊中心訂閱服務,如果設爲false,將只註冊,不訂閱

      4timeout註冊中心請求超時時間(毫秒)

      5address可以Zookeeper集羣配置,地址可以多個以逗號隔開等。

  dubbo:service標籤的一些屬性說明:

     1interface服務接口的路徑

     2ref引用對應的實現類的BeanID

     3registry向指定註冊中心註冊,在多個註冊中心時使用,值爲<dubbo:registry>id屬性,多個註冊中心ID用逗號分隔,如果不想將該服務註冊到任何registry,可將值設爲N/A

     4register 默認true ,該協議的服務是否註冊到註冊中心。

 

  (5)啓動項目,然後我們在Dubbo管理頁面上顯示,已經暴露的服務,但顯示還沒有消費者,因爲我們還沒實現消費者服務,如圖所示:

  

   第二:我們在開發服務消費者,就是調用服務,我們在新建一個新的消費者項目結構如圖所示:

       

   (1)test-maven-server-console的pom.xml引入Dubbo和Zookeeper的jar包、test-maven-apijar包,因爲引入test-maven-apijar包,我們在項目中調用像在本地調用一樣。代碼如下:

      

Java代碼  

  1.    <dependency>  

  2.     <groupId>cn.test</groupId>  

  3.     <artifactId>test-maven-api</artifactId>  

  4.     <version>0.0.1-SNAPSHOT</version>  

  5. </dependency>  

  6.   

  7.    <dependency>  

  8.          <groupId>com.alibaba</groupId>  

  9.          <artifactId>dubbo</artifactId>  

  10.          <version>2.5.3</version>  

  11.      </dependency>  

  12.        

  13.       <dependency>  

  14.          <groupId>org.apache.zookeeper</groupId>  

  15. <artifactId>zookeeper</artifactId>  

  16. <version>3.4.6</version>  

  17.      </dependency>  

  18.   

  19.    <dependency>  

  20.      <groupId>com.github.sgroschupf</groupId>  

  21. <artifactId>zkclient</artifactId>  

  22. <version>0.1</version>  

  23.    </dependency>  

  (2)test-maven-server-console項目的具體實現,代碼如下:

     

Java代碼  

  1. @Controller  

  2. public class IndexController {  

  3.       

  4.     @Autowired  

  5.     private TestRegistryService testRegistryService;  

  6.       

  7.     @RequestMapping("/hello")  

  8.     public String index(Model model){  

  9.          String name=testRegistryService.hello("zz");  

  10.          System.out.println("xx=="+name);  

  11.         return "";  

  12.     }  

  13.   

  14. }  


  (3)我們要引用的地址,代碼如下:

   

Java代碼  

  1. <?xml version="1.0" encoding="UTF-8"?>  

  2. <beans xmlns="http://www.springframework.org/schema/beans"  

  3.     xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"   

  4.     xmlns:jee="http://www.springframework.org/schema/jee"  

  5.     xmlns:tx="http://www.springframework.org/schema/tx"  

  6.     <span style="background-color: rgb(255, 255, 255);"><span style="color:#990000;">xmlns:dubbo="http://code.alibabatech.com/schema/dubbo"</span></span>  

  7.     xmlns:context="http://www.springframework.org/schema/context"  

  8.     xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.1.xsd  

  9.     http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-3.1.xsd  

  10.     http://www.springframework.org/schema/jee http://www.springframework.org/schema/jee/spring-jee-3.1.xsd  

  11.     <span style="color:#990000;">http://code.alibabatech.com/schema/dubbo http://code.alibabatech.com/schema/dubbo/dubbo.xsd</span>  

  12.     http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-3.1.xsd"  

  13.     default-lazy-init="false" >  

  14.   

  15.    <dubbo:application name="dubbo_consumer"></dubbo:application>  

  16.    <!-- 使用zookeeper註冊中心暴露服務地址 -->    

  17.    <dubbo:registry address="zookeeper://192.168.74.129:2181" check="false"></dubbo:registry>   

  18.      <!-- 要引用的服務 -->    

  19.    <dubbo:reference interface="cn.test.dubbo.registry.service.TestRegistryService" id="testRegistryService"></dubbo:reference>  

  20. </beans>  

 

說明:

   dubbo:reference 的一些屬性的說明:

      1interface調用的服務接口

      2check 啓動時檢查提供者是否存在,true報錯,false忽略

      3registry 從指定註冊中心註冊獲取服務列表,在多個註冊中心時使用,值爲<dubbo:registry>id屬性,多個註冊中心ID用逗號分隔

      4loadbalance 負載均衡策略,可選值:random,roundrobin,leastactive,分別表示:隨機,輪循,最少活躍調用

   

(4)項目啓動,Dubbo管理頁面,能看到消費者,如圖所示:

 

(5)然後訪問消費者項目,Controller層能像調用本地一樣調用服務的具體實現,如圖所示:

  

 

 

 

Dubbo提供了多種容錯方案,包括負載均衡這些,如圖所示:

 

 

  1. 1. 使用阿里巴巴Druid連接池(高效、功能強大、可擴展性好的數據庫連接池、監控數據庫訪問性能、支持Common-Logging、Log4j和JdkLog,監控數據庫訪問)

  1. 2. 提供高併發JMS消息處理機制
    3. 所有功能模塊化、所有模塊服務化、所有服務原子化的方式,提供可拓展的服務模型,使程序穩定運行,永不宕機
    4. 提供Wink RestWebservice服務,故可作爲獨立服務平臺部署

    框架整合:

    Springmvc + Mybatis + Shiro(權限) + REST(服務) + WebService(服務) + JMS(消息) + Lucene(搜搜引擎) + Quartz(定時調度) + Bootstrap Html5(支持PC、IOS、Android)

    框架簡介:

項目Maven構建,真實大型互聯網架構,做到高併發,大數據處理,整個項目使用定製化服務思想,提供模塊化、服務化、原子化的方案,將功能模塊進行拆分,可以公用到所有的項目中。架構採用分佈式部署架構,所有模塊進行拆分,使項目做到絕對解耦,穩定壓倒一切~~

持續集成:

1. 我的待辦工作流服務(提供Webservice服務)

2. 我的待辦工作流集成JMS消息服務(支持高併發,可支持成千上萬系統集成)

3. 我的任務提供Rest服務,完成日常的工作管理,通過定時調度平臺,動態生成我的任務、循環週期任務、定時郵催提醒完成任務等

4. 文件上傳、多線程下載服務化、發送郵件、短信服務化、部門信息服務化、產品信息服務化、信息發佈服務化、我的訂閱服務化、我的任務服務化、公共鏈接、我的收藏服務化等

系統模塊:

 1.  用戶管理:

      用戶信息管理(添加、刪除、修改、用戶授權、用戶欄目管理、查詢等)

      用戶組管理(添加、刪除、修改、用戶組欄目授權,欄目授權、查詢、用戶組人員添加查詢等)

      用戶角色管理(添加、刪除、修改、用戶角色授權、用戶角色欄目信息查詢設置等)
 2.  文章管理:

      欄目管理:查詢無限極欄目樹、創建無限極欄目樹分類(導航欄目、圖片列表欄目、文章列表欄目、文章內容欄目等)、刪除、修改欄目信息。

      文章管理:創建、刪除、修改文章,多維度文章查詢,包括已發佈、未發佈、所有文章等。文章富文本編輯器、文章多文件上傳、文章狀態控制等。
3.  系統設置:

       數據字典管理:支持中、英文信息,支持無限級別分類配置,動態控制是否可用等。

       部門信息管理:支持中、英文無限級別部門信息增加,刪除,修改操作,部門列表、樹心查詢等。

       日誌管理:系統日誌列表查詢、在線查看、在線下載等

       路線管理:集成百度地圖API,提供線路查詢管理功能

       Druid Monitor(監控):集成阿里巴巴連接池,提供在線連接池監控程序,包括:數據源、SQL監控、URL監控、Session監控、Spring監控等

       網站信息管理:通過系統配置文件進行網站內容操作,包括郵件服務器配置、公司基本信息配置等。

 4.  集成REST服務,可以用作獨立服務平臺(提供大量實例及測試平臺,包括:文件上傳下載、郵件短信發送、部門、產品、公共連接、我的收藏、我的任務、信息發佈等)

 5.  集成Quartz調度可以用作定時調度平臺(動態配置調度類、調度時間,使程序自動執行某些業務)

 6.  Lucene搜索引擎可以將文件資料索引化,支持文件內容搜索、關鍵字搜索、高亮關鍵字等,使信息在毫秒內提取查詢出來

 7.  用戶設置功能包括修改用戶信息,修改密碼、發送消息,修改個人圖片,查看角色、查看用戶組,管理員修改角色、用戶、用戶組等。

 8.  集成Webservice平臺包括jaxws服務、CXF框架,配置雙加密的權限認證。使服務集成更加安全。

 9.  Bootstrap html5提供了兩套前臺開環境包括CMS和電子商務網站,使您的開發更加的簡潔。

技術點:

1.  Springmvc + Mybatis集成、SpringSecurity權限控制、Spring AOP事務處理。

2.   Wink Rest服務、Webservice服務:jaxws、CXF等

3.  IO 流上傳下載文件,多線程操作

4.  發送郵件,配置郵件服務器,發基於html、純文本格式的郵件

5.  MD5加密 (登陸密碼校驗加密等),用戶統一Session、Cookie管理,統一驗證碼校驗等。

6.  數據庫連接池統一配置 

7.  Quartz定時調度任務集成(直接通過配置即可)

8.  Httpclient破解驗證碼,登陸聯通充值平臺

9.  漢字、英文拆分、可以用作文檔關鍵字搜索等。

10.  Base64圖片處理,支持PC,Android,IOS

11.  Service Socket 、Client Socket 通信技術(已經做過GPRS數據獲取,並用到了項目中)

12.  提供大量工具類,可以直接使用

13.  Maven項目構建,您可以直接做架構,可以提升自己的學習能力,使您成爲真正的架構師。


Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客

 

Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客

Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客

 

Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客

 

Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客

 

Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客

 

Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客

 

Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客

 Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客
 

Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客

 

Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客

 

Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客

 

Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客

 

Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客
 

 

Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客
 

 Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客
 

Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客

 Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客

 Springmvc+mybatis+shiro框架整合 高併發 大數據 bootstrap ehcache 企業級應用 - zookeeperkafka - zookeeperkafka的博客


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章