RocketMQ 分佈式 集羣

原創 e财富800 2020-06-16 06:13

下載MQ並解壓

  1. [01]# wget http://archive.apache.org/dist/rocketmq/4.3.2/rocketmq-all-4.3.2-bin-release.zip
  2. [01]# unzip rocketmq-all-4.3.2-bin-release.zip
  3. [01]# mv rocketmq-all-4.3.2-bin-release rocketmq-4.3.2
  4. [01]# cd rocketmq-4.3.2

根據機器配置調整RocketMq的內存值

  1. [01]# vim bin/runbroker.sh
  2. [01]# vim bin/runserver.sh

爲避免啓動報錯以下各項調到1G以上 

  1. runbroker.sh內的配置項： JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx2g -Xmn1g"
  2. runserver.sh內的配置項： JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx2g -Xmn1g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

 二.配置多master多slave（2M-2S）模式，異步集羣

進2m-2s-async目錄

  1. [01]# cd /opt/rocketmq-4.3.2/conf/2m-2s-async
  2. 保留broker-a.properties和broker-b-s.properties 兩個文件，其他的文件刪除
  3. [01]# vim broker-a.properties
    #集羣名稱
    brokerClusterName=RocketMQCluster
    #broker名字，名字可重複,主從同名
    brokerName=broker-a
    #指定啓動服務器ip，修改成自己的服務器ip
    brokerIP1=192.168.3.31
    #0 表示 Master，>0 表示 Slave
    brokerId=0
    #Broker 的角色，屬於主還是從，如果brokerId=0，則是master；如果是brokerId=1，則是slave
    #- ASYNC_MASTER 異步複製Master
    #- SYNC_MASTER 同步雙寫Master
    #- SLAVE
    brokerRole=ASYNC_MASTER
    #nameServer地址，分號分割，修改成自己的服務器ip
    namesrvAddr=192.168.3.31:9876;192.168.3.32:9876
    #在發送消息時，自動創建服務器不存在的topic，默認創建的隊列數
    defaultTopicQueueNums=8
    #是否允許 Broker 自動創建Topic，建議線下開啓，線上關閉
    autoCreateTopicEnable=true
    #是否允許 Broker 自動創建訂閱組，建議線下開啓，線上關閉
    autoCreateSubscriptionGroup=true
    #Broker 對外服務的監聽端口,
    listenPort=10911
    #刪除文件時間點，默認凌晨 4點
    deleteWhen=04
    #文件保留時間，默認 48 小時
    fileReservedTime=120
    #commitLog每個文件的大小默認1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每個文件默認存30W條，根據業務情況調整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #檢測物理文件磁盤空間
    diskMaxUsedSpaceRatio=88
    #存儲路徑，需要提前建好文件夾
    storePathRootDir=/data/rocketmq/store/broker-a
    #commitLog 存儲路徑，需提前建好文件夾
    storePathCommitLog=/data/rocketmq/store/broker-a/commitlog
    #消費隊列存儲路徑存儲路徑，需提前建好文件夾
    storePathConsumeQueue=/data/rocketmq/store/broker-a/consumequeue
    #消息索引存儲路徑，需提前建好文件夾
    storePathIndex=/data/rocketmq/store/broker-a/index
    #checkpoint 文件存儲路徑，需提前建好文件夾
    storeCheckpoint=/data/rocketmq/store/checkpoint
    #abort 文件存儲路徑，需提前建好文件夾
    abortFile=/data/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #刷盤方式
    #- ASYNC_FLUSH 異步刷盤
    #- SYNC_FLUSH 同步刷盤
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #發消息線程池數量
    #sendMessageThreadPoolNums=128
    #拉消息線程池數量
    #pullMessageThreadPoolNum=128

  • 4.[01]# vim broker-b-s.properties

    brokerClusterName=RocketMQCluster
    brokerName=broker-b
    brokerId=1
    fileReservedTime=48
    brokerRole=SLAVE
    flushDiskType=ASYNC_FLUSH
    listenPort=10920
    #nameserver地址，分號分割
    namesrvAddr=192.168.3.27:9876;192.168.3.31:9876
    brokerIP1=192.168.3.27
    #在發送消息時，自動創建服務器不存在的topic，默認創建的隊列數
    defaultTopicQueueNums=8
    #是否允許 Broker 自動創建Topic，建議線下開啓，線上關閉
    autoCreateTopicEnable=true
    #是否允許 Broker 自動創建訂閱組，建議線下開啓，線上關閉
    autoCreateSubscriptionGroup=true

    #存儲路徑，需提前建好文件夾
    storePathRootDir=/data/rocketmq/store/broker-b-s
    #commitLog 存儲路徑，需提前建好文件夾
    storePathCommitLog=/data/rocketmq/store/broker-b-s/commitlog
    #消費隊列存儲路徑存儲路徑，需提前建好文件夾
    storePathConsumeQueue=/data/rocketmq/store/broker-b-s/consumequeue
    #消息索引存儲路徑，需提前建好文件夾
    storePathIndex=/data/rocketmq/store/broker-b-s/index
    #checkpoint 文件存儲路徑，需提前建好文件夾
    storeCheckpoint=/data/rocketmq/store/checkpoint
    #abort 文件存儲路徑，需提前建好文件夾
    abortFile=/data/rocketmq/store/abort

    #刪除文件時間點，默認凌晨 4點
    deleteWhen=04
    #文件保留時間，默認 48 小時
    fileReservedTime=120
    #commitLog每個文件的大小默認1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每個文件默認存30W條，根據業務情況調整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #檢測物理文件磁盤空間
    #diskMaxUsedSpaceRatio=88

2.創建對應目錄

  1. [01]# mkdir -p /data/rocketmq/store/broker-a
    [01]# mkdir -p /data/rocketmq/store/broker-a/commitlog
    [01]# mkdir -p /data/rocketmq/store/broker-a/consumequeue
    [01]# mkdir -p /data/rocketmq/store/broker-a/index
    [01]# mkdir -p /data/rocketmq/store/checkpoint
    [01]# mkdir -p /data/rocketmq/store/abort

  2. [01]# mkdir -p /data/rocketmq/store/broker-b-s
    [01]# mkdir -p /data/rocketmq/store/broker-b-s/commitlog
    [01]# mkdir -p /data/rocketmq/store/broker-b-s/consumequeue
    [01]# mkdir -p /data/rocketmq/store/broker-b-s/index
    [01]# mkdir -p /data/rocketmq/store/checkpoint
    [01]# mkdir -p /data/rocketmq/store/abort

進另一臺 2m-2s-async

  1. [02]# vim broker-b.properties
    #所屬集羣名字
    brokerClusterName=RocketMQCluster
    #broker名字，名字可重複，主從需同名
    brokerName=broker-b
    #指定啓動服務器ip，修改成自己的服務器ip
    brokerIP1=192.168.3.32
    #0 表示 Master，>0 表示 Slave
    brokerId=0
    #Broker 的角色，屬於主還是從，如果brokerId=0，則是master；如果是brokerId=1，則是slave
    #- ASYNC_MASTER 異步複製Master
    #- SYNC_MASTER 同步雙寫Master
    #- SLAVE
    brokerRole=ASYNC_MASTER
    #nameServer地址，分號分割，修改成自己的服務器ip
    namesrvAddr=192.168.3.31:9876;192.168.3.32:9876
    #在發送消息時，自動創建服務器不存在的topic，默認創建的隊列數
    defaultTopicQueueNums=8
    #是否允許 Broker 自動創建Topic，建議線下開啓，線上關閉
    autoCreateTopicEnable=true
    #是否允許 Broker 自動創建訂閱組，建議線下開啓，線上關閉
    autoCreateSubscriptionGroup=true
    #Broker 對外服務的監聽端口,
    listenPort=10911
    #刪除文件時間點，默認凌晨 4點
    deleteWhen=04
    #文件保留時間，默認 48 小時
    fileReservedTime=120
    #commitLog每個文件的大小默認1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每個文件默認存30W條，根據業務情況調整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #檢測物理文件磁盤空間
    diskMaxUsedSpaceRatio=88
    #存儲路徑，需提前建好文件夾
    storePathRootDir=/data/rocketmq/store/broker-b
    #commitLog 存儲路徑，需提前建好文件夾
    storePathCommitLog=/data/rocketmq/store/broker-b/commitlog
    #消費隊列存儲路徑存儲路徑，需提前建好文件夾
    storePathConsumeQueue=/data/rocketmq/store/broker-b/consumequeue
    #消息索引存儲路徑，需提前建好文件夾
    storePathIndex=/data/rocketmq/store/broker-b/index
    #checkpoint 文件存儲路徑，需提前建好文件夾
    storeCheckpoint=/data/rocketmq/store/checkpoint
    #abort 文件存儲路徑，需提前建好文件夾
    abortFile=/data/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #刷盤方式
    #- ASYNC_FLUSH 異步刷盤
    #- SYNC_FLUSH 同步刷盤
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #發消息線程池數量
    #sendMessageThreadPoolNums=128
    #拉消息線程池數量
    #pullMessageThreadPoolNums=128

  2. [02]# vim broker-a-s.properties
    #所屬集羣名字
    brokerClusterName=RocketMQCluster
    #broker名字，名字可重複,主從同名
    brokerName=broker-a
    #指定啓動服務器ip，修改成自己的服務器ip
    brokerIP1=192.168.3.32
    #0 表示 Master，>0 表示 Slave
    brokerId=1
    #Broker 的角色，屬於主還是從，如果brokerId=0，則是master；如果是brokerId=1，則是slave
    #- ASYNC_MASTER 異步複製Master
    #- SYNC_MASTER 同步雙寫Master
    #- SLAVE
    brokerRole=SLAVE
    #nameServer地址，分號分割，修改成自己的服務器ip
    namesrvAddr=192.168.3.31:9876;192.168.3.32:9876
    #在發送消息時，自動創建服務器不存在的topic，默認創建的隊列數
    defaultTopicQueueNums=8
    #是否允許 Broker 自動創建Topic，建議線下開啓，線上關閉
    autoCreateTopicEnable=true
    #是否允許 Broker 自動創建訂閱組，建議線下開啓，線上關閉
    autoCreateSubscriptionGroup=true
    #Broker 對外服務的監聽端口,
    listenPort=10920
    #刪除文件時間點，默認凌晨 4點
    deleteWhen=04
    #文件保留時間，默認 48 小時
    fileReservedTime=120
    #commitLog每個文件的大小默認1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每個文件默認存30W條，根據業務情況調整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #檢測物理文件磁盤空間
    diskMaxUsedSpaceRatio=88
    #存儲路徑，需提前建好文件夾
    storePathRootDir=/data/rocketmq/store/broker-a-s
    #commitLog 存儲路徑，需提前建好文件夾
    storePathCommitLog=/data/rocketmq/store/broker-a-s/commitlog
    #消費隊列存儲路徑存儲路徑，需提前建好文件夾
    storePathConsumeQueue=/data/rocketmq/store/broker-a-s/consumequeue
    #消息索引存儲路徑，需提前建好文件夾
    storePathIndex=/data/rocketmq/store/broker-a-s/index
    #checkpoint 文件存儲路徑，需提前建好文件夾
    storeCheckpoint=/data/rocketmq/store/checkpoint
    #abort 文件存儲路徑，需提前建好文件夾
    abortFile=/data/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #刷盤方式
    #- ASYNC_FLUSH 異步刷盤
    #- SYNC_FLUSH 同步刷盤
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #發消息線程池數量
    #sendMessageThreadPoolNums=128
    #拉消息線程池數量
    #pullMessageThreadPoolNums=128

在每臺機器上創建對應的目錄：

  1. [02]# mkdir -p /data/rocketmq/store/broker-b
    [02]# mkdir -p /data/rocketmq/store/broker-b/commitlog
    [02]# mkdir -p /data/rocketmq/store/broker-b/consumequeue
    [02]# mkdir -p /data/rocketmq/store/broker-b/index
    [02]# mkdir -p /data/rocketmq/store/checkpoint
    [02]# mkdir -p /data/rocketmq/store/abort

  2. [02]# mkdir -p /data/rocketmq/store/broker-a-s
    [02]# mkdir -p /data/rocketmq/store/broker-a-s/commitlog
    [02]# mkdir -p /data/rocketmq/store/broker-a-s/consumequeue
    [02]# mkdir -p /data/rocketmq/store/broker-a-s/index
    [02]# mkdir -p /data/rocketmq/store/checkpoint
    [02]# mkdir -p /data/rocketmq/store/abort

MQ啓動順序

  1. 啓動順序：
    首先啓動服務器A和服務器B的nameserver;
    然後啓動服務器A的主broker-a，然後啓動服務器B的從broker-a-s;
    再啓動服務器B的主broker-b，最後啓動服務器A的從broker-b-s；

  2. 啓動相關命令：

    (1)啓動多臺nameserver（指定啓動配置文件和啓動日誌）：
    nohup sh bin/mqnamesrv >logs/mqnamesrv.log 2>&1 &

    (2)啓動broker-a（指定啓動配置文件和啓動日誌）：
    nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a.properties >logs/broker-a.log 2>&1 &

    (3)啓動broker-a-s（指定啓動配置文件和啓動日誌）：
    nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a-s.properties >logs/broker-a-s.log 2>&1 &

    (4)啓動broker-b（指定啓動配置文件和啓動日誌）：
    nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b.properties >logs/broker-b.log 2>&1 &

    (5)啓動broker-b-s（指定啓動配置文件和啓動日誌）：
    nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b-s.properties >logs/broker-b-s.log 2>&1 &

    (6)快速查看啓動進程：
    jps

三. 配件啓動MQ-WEB管理界面

  1. 配置maven環境

  2. [0]# cd /opt
    [0]# git clone https://github.com/apache/rocketmq-externals.git
    等待git完成…
    [0]# cd /opt/rocketmq-externals/rocketmq-console/src/main/resources
    [0]# vim application.properties
    server.contextPath=
    server.port=8080 #訪問端口號

    #SSL setting
#server.ssl.key-store=classpath:rmqcngkeystore.jks
#server.ssl.key-store-password=rocketmq
#server.ssl.keyStoreType=PKCS12
#server.ssl.keyAlias=rmqcngkey

#spring.application.index=true
spring.application.name=rocketmq-console
spring.http.encoding.charset=UTF-8
spring.http.encoding.enabled=true
spring.http.encoding.force=true
logging.config=classpath:logback.xml
#if this value is empty,use env value rocketmq.config.namesrvAddr  NAMESRV_ADDR         | now, you can set it in ops page.default localhost:9876q
#MQ集羣地址
rocketmq.config.namesrvAddr=192.168.xx.x1:9876;192.168.xx.x2:9876
#if you use rocketmq version < 3.5.8, rocketmq.config.isVIPChannel should be             false.default true
rocketmq.config.isVIPChannel=true
#rocketmq-console's data path:dashboard/monitor
rocketmq.config.dataPath=/opt/mqconsole/data
#set it false if you don't want use dashboard.default true
rocketmq.config.enableDashBoardCollect=true
#set the message track trace topic if you don't want use the default one
rocketmq.config.msgTrackTopicName=
rocketmq.config.ticketKey=ticket

#Must create userInfo file: ${rocketmq.config.dataPath}/users.properties if the         login is required
rocketmq.config.loginRequired=false

  3. [0]# cd /opt/rocketmq-externals/rocketmq-console
    生成監控包
    [0]# mvn clean package -Dmaven.test.skip=true
    啓動mqweb管理頁
    [0]# nohup java -jar rocketmq-console-ng-1.0.1.jar > log.log 2>&1 &
    訪問web頁面：http://xxx.xxx.xxx.xxx:8080/

 

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

hadoop-2單節點和hive安裝

1、下載hadoop-x.y.x.tar.gz 2、解壓：tar -zxvf hadoop-2.y.x.tar.gz 3、配置環境變量：$JAVA_HOME、$HADOOP_HOME、$PATH 4、修改配置：$HADOOP_HOME/et

原創 2024-05-24 23:51:33

DolphinScheduler 3.3.0版本更新一覽

Apache DolphinScheduler即將迎來3.3.0版本的發佈，屆時將有一系列重要的更新和改進。在近期的社區5月份用戶線上分享會上，項目PMC 阮文俊爲大家介紹了3.3.0版本將帶來的主要更新和改進，併爲大家指出瞭如何參與社區的

原創 2024-05-23 21:22:09

Spring優雅使用log4j2日誌

1-前言 Spring框架本身提供了對日誌的集成，對logback的支持非常好，但是對log4j和log4j2的支持就沒那麼好。 在同步打印日誌的場景下logback擁有最高的日誌吞吐量《Logback Throughput Benchma

原創 2024-05-22 23:12:10

【開啓報名】開源之夏2024精彩繼續！Apache Linkis項目課題正式發佈

開源之夏是什麼 “開源之夏（OSPP）” 是中國科學院軟件研究所 “開源軟件供應鏈點亮計劃” 指導下的系列暑期活動，旨在鼓勵在校學生積極參與開源軟件的開發維護，培養和發掘更多優秀的開發者，促進優秀開源軟件社區的蓬勃發展，助力開

微衆開源 2024-05-21 21:38:53

教你如何搞定springboot集成kafka

本文分享自華爲雲社區《手拉手入門springboot+kafka》，作者：QGS。 安裝kafka 啓動Kafka本地環境需Java 8+以上 Kafka是一種高吞吐量的分佈式發佈訂閱消息系統，它可以處理消費者在網站中的所有動作流數據。

原創 2024-05-16 22:58:25

redis-benchmark併發壓力測試

前言： Redis-benchmark： Redis 自帶了一個叫 redis-benchmark 的工具來模擬 N 個客戶端同時發出 M 個請求。 （類似於 Apache ab 程序）。你可以使用 redis-benchmark -h

osc_51airx3z 2024-05-14 00:37:31

skywalking-client-js 集成

前端： import ClientMonitor from 'skywalking-client-js'; ClientMonitor.setPerformance({ collector: 'http://127.0.0.

原創 2024-05-13 12:57:23

dolphinscheduler 之變量篇

場景：查詢數據表總數，然後根據總數判斷走哪個分支節點 1.將sql結果輸出到變量 2.分支判斷 3.輸出結果   小結 本文總結了DophineSheduler上下游任務之間參數傳遞的方法，並對其中的易錯點進行了梳理，同時給出了具體

原創 2024-05-11 00:57:01

Apache-Pulsar 集羣搭建

準備6臺機器 第一步、安裝zookeeper集羣，刪除conf下zoo_sample.cfg文件，創建zoo.cfg，配置文件如下 ##通信心跳數Zookeeper 服務器之間或客戶端與服務器之間維持心跳的時間間隔，也就是每個 tick

原創 2024-05-10 15:54:02

Windows下把ZooKeeper註冊成爲Windows服務，實現開機自啓動

下載zookeeper服務插件，zip包就可以了。 下載地址：http://archive.apache.org/dist/commons/daemon/binaries/windows/ 把 prunsrv.exe、prunmgr.exe

原創 2024-05-08 21:56:27

在Linux操作系統的安裝過程中，如何選擇合適的發行版

【關鍵詞】{{linux安裝}} 【提問】{{question}} 在Linux操作系統的安裝過程中，如何選擇合適的發行版，並確保安裝過程順利進行？此外，對於不同硬件配置的用戶，有哪些特定的安裝注意事項和優化策略？ 【文章】{{Linux操

原創 2024-05-17 01:49:06

Docker 使用 CentOS 鏡像

使用 docker run 直接運行 CentOS 7 鏡像，並登錄 bash。   C:\Users\yhu>docker run -it centos:centos7 bash Unable to find image 'c

原創 2024-05-15 11:11:36

利用pyinstaller打包Python程序爲一個可執行文件

有時，Python發佈的程序需要被打包爲一個文件夾、甚至一個文件發佈。 目前（2020）最佳的策略是使用pyinstaller。 pyinstaller不僅支持打包整個運行環境到一個可執行文件，而且還支持加密。 但唯一的問題是，必須依賴

osc_hwc3munb 2024-05-14 02:04:34

Ceph 守護進程

Ceph 守護進程 Operating a Cluster — Ceph Documentation 使用系統運行 CEPH 對於支持系統化的所有分發（CentOS 7、Fedora、Debian Jessie 8 及更晚，SUSE）

osc_m6gaz63w 2024-05-13 21:33:50

解決k3d或者k3s搭建k8s集羣在發佈鏡像過程中提示ImagePullBackOff問題

筆者嘗試在k3d搭建的k8s集羣中發佈tomcat服務，結果遲遲無法啓動，以下爲創建容器到解決的過程： 1. 發佈tomcat指令 kubectl create deployment tomcat --image=tomcat --port

原創 2024-04-26 21:13:35