RabbitMQ實戰:擴展RabbitMQ與系列總結

本系列是「RabbitMQ實戰:高效部署分佈式消息隊列」書籍的總結筆記。

本篇是「RabbitMQ實戰」系列的最後一篇,主要介紹RabbitMQ插件,瞭解如何安裝和啓用它,列舉一些常用的插件,以及如何自定義。

在介紹之前,先總結下本系列的主要內容,把它們串起來。

系列總結

開篇時,這樣定義過RabbitMQ:它是一個開源的消息代理和隊列服務器,可以通過基本協議在完全不同的應用之間共享數據,可以將作業排隊以便讓分佈式服務進行處理。

這句話有幾個關鍵詞:消息代理、隊列服務器、共享數據、分佈式處理,分別來說明下,以加深理解。

消息代理:可以把RabbitMQ看成一個代理服務器,一方面把消息生產者和消費者進行了解耦,更靈活;一方面,消息如何分發不用生產者考慮了,RabbitMQ提供多種分發策略。

隊列服務器:消息最終是緩存在隊列中的,消費者從指定的隊列中消費消息,所以需要管理隊列和隊列中的消息。

共享數據:主要是說消息可以在不同應用間傳輸數據,通過AMQP協議進行規範,達到共享數據的目的。

分佈式處理:多個消費者可以訂閱同一個隊列,這樣,多臺機器就可以同時處理同一批數據,達到分佈式處理的效果。

如果理解AMQP基本元素和消息模型,上面的概念會很好理解,有2篇文章重點介紹了這塊。

有些場景,對RabbitMQ可用性要求比較高,不容許有消息的丟失,需要了解RabbitMQ的可用性保障和實現。另外, 要能夠實時監控RabbitMQ的本身及各個組件的運行情況,有問題時及時報警,快速進行處理。

如果消息量和併發量比較高,需要根據不同的業務場景,在可用性和性能上進行平衡,以滿足業務的需要。

有些消息比較敏感,在傳輸的過程中要進行加密處理,通過ssl協議可以很好的解決。

最後,RabbitMQ提供了一些列的插件,爲我們提供了很多有用的功能,比如Web管理界面插件、Shovel跨機房複製插件等,還允許我們自定義插件,擴展需要的功能。

完整索引

  1. 理解消息通信
  2. 運行和管理
  3. 消息通信模型和最佳實踐
  4. 可用性分析和實現
  5. 界面管理和監控
  6. 數據傳輸的安全性介紹
  7. 性能和安全

插件介紹

當需要某些功能而服務器沒有時,可以通過添加插件的方式來進行增強,可以從網絡上找,也可以自己編寫插件。

用插件可以做什麼

先簡單舉幾個例子,這些可以通過安裝插件來解決:

  • 支持AMQP以外的協議;
  • 不同的認證機制(LDAP、自定義數據庫);
  • 消息複製;
  • 新的交換器和路由算法;
  • 消息日誌和審計;

STOMP是一個簡單的基於文本的協議,用於在應用之間傳輸數據,它可以與ActiveMQ服務器一起工作,如果你的代碼基於ActiveMQ和STOMP,但想使用RabbitMQ,就可以使用STOMP插件進行適配。

假設你的系統中所有的用戶管理均通過LDAP,想在RabbitMQ中使用它進行認證,可以使用rabbitmq-auth-backend-ldap插件進行集成。

LDAP是輕量目錄訪問協議,一個爲查詢、瀏覽和搜索而優化的專業分佈式數據庫,它呈樹狀結構組織數據,就好象Linux/Unix系統中的文件目錄一樣。目錄數據庫和關係數據庫不同,它有優異的讀性能,但寫性能差,並且沒有事務處理、回滾等複雜功能,不適於存儲修改頻繁的數據。所以目錄天生是用來查詢的,就好象它的名字一樣。

還可以自定義路由規則的交換器,下面會詳細介紹。

查找和管理插件

可以查看 官網頁面,查找到維護和實驗階段的插件。

再來看看插件的一些管理命令:

開啓插件,插件開啓後,需要重啓RabbitMQ服務器:

./rabbitmq-plugins enable <plugin-name>

禁用插件,禁用插件後,需要重啓RabbitMQ服務器:

./rabbitmq-plugins disable <plugin-name>

查看啓用的插件:

./rabbitmq-plugins list -e

自定義插件

使用一個具體的例子來介紹自定義插件的開發,有這樣一個場景:使用RabbitMQ爲聊天應用建模,該模型中有一個全局聊天室,所有的用戶都連接到這裏,每位用戶擁有自己的隊列,綁定到全局fanout交換器上。

每次發消息到該交換器上時,該消息會羣發給所有綁定的隊列上,但如果有一個新的客戶端連接到這個聊天室,只會得到發送給聊天室的新消息,無法瞭解在加入之前會話的上下文。

如果能將最近的消息發送給新來的客戶,用戶體驗更更好點,可以通過自定義交換器實現這個功能。

插件開發環境和說明

RabbitMQ開發者制定了開發環境,即RabbitMQ Public Umbrella,通過把它從代碼庫中籤出,然後把自己的插件添加到項目結構中。

RabbitMQ是用Erlang語言開發的,Erlang源代碼是以模塊的方式組織起來的,模塊內的函數實現了應用程序需要提供的功能,插件只需要一個模塊來包含自定義交互器的實現。

在面向對象編程中,擁有接口的概念,在Erlang中有相同的概念:behavious(行爲)。

Erlang behavior 確定了模塊需要實現和導出哪些函數,這樣調用該模塊的代碼才知道該如何使用它。

另一個不同的地方在於,Erlang沒有java那樣可見性概念,擁有的就是一個模塊導出列表,如果模塊實現了函數fun1、fun2和fun3,但只導出fun1的話,fun2和fun3將無法被外界調用。

另外,還有一個函數參數數量的概念,可以接受名字相同、參數數量不同的函數,因此behavious可以確定函數fun1/1和fun1/2是兩個不同的函數。

一般步驟

首先,確認要擴展的behavios,RabbitMQ暴露了一個交換器behavious,名爲rabbit_exchange_type,它會明確需要實現哪些函數來成爲一個符合要求的交換器。

然後,梳理實現思路:我們要實現的是一個加強版的fanout類型交換器,緩存最近20條消息,可以基於RabbitMQ上的fanout交換器進行實現。

  • 需要緩存已路由的消息,每當交換器路由消息的時候,就將該消息存儲到某個數據庫中,該功能可在函數route/2中實現;
  • 當隊列綁定到交換器時,需要把緩存的消息投遞過去,該功能可在函數add_binding/3中實現;
  • 當交換器刪除的時候,需要丟棄緩存的消息,該功能可在函數delete/3中實現;

然後,實現交換器behavious,我沒有看相關實現細節,感興趣的可以查看實現代碼:傳送門

最後,將交換器註冊到RabbitMQ,RabbitMQ維護了一個註冊表,用這張表來跟蹤所有的交換器類型及其模塊名稱,假設將消息發佈到fanout交換器上,RabbitMQ會進入註冊表,檢查由哪個模塊來實現fanout交換器,找到後,會繼續調用該模塊的路由函數。

所以,需要找到一個方法將自定義交換器添加到註冊表中,RabbitMQ支持啓動步驟的概念,當服務器啓動時會調用一系列步驟,可以在模塊中添加一個啓動步驟,RabbitMQ啓動是,會將自定義交換器添加到rabbit_registry註冊表中。

-rabbit_boot_step({rabbit_exchange_type_rh_registry,
[{description, "recent history exchange type: registry"},
  {mfa, {rabbit_registry, register,
          [exchange, <<"x-recent-history">>,
           ?MODULE]}}, //註冊自定義交換器
  {requires, rabbit_registry}, 
  {enables, kernel_ready}]}).

以上,自定義交換器就完成了,可以編寫程序進行驗證。

require_once('../lib/php-amqplib/amqp.inc');
define('HOST', 'localhost');
define('PORT', 5672);
define('USER', 'guest');
define('PASS', 'guest');
define('VHOST', '/');

$exchange = 'rh-exchange';
$conn = new AMQPConnection(HOST, PORT, USER, PASS, VHOST);
$ch = $conn->channel();
$ch->exchange_declare($exchange,
        'x-recent-history', //使用自定義交換器
        false,
        true,
        false);

歡迎掃描下方二維碼,關注我的個人微信公衆號,分享我的工作、學習和生活~

情情說

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章