手把手教你搭建MongoDB 3.6高可用集羣（分片技術+仲裁節點+mongos路由+configsvr）

介紹

時下大數據時代，海量數據與吞吐量的數據庫應用對單機的性能造成了較大的壓力，將會發生CPU耗盡，存儲壓力大，可用資源耗盡等問題。
便出現了新的技術，分片技術。它是MongoDB用來將大型集合分割到不同服務器上所採用的的方法，它幾乎是能夠自動完成所有事情，只要告訴MongoDB要分配的數據，它就能夠自動維護數據到不同服務器之間均衡存儲。

分片機制提供了三種優勢：

對集羣進行抽象，讓集羣"不可見"
保證集羣總是可讀寫
使得集羣易於擴展

分片集羣架構：

Config server： 存儲集羣所有節點，分片數據路由信息，默認需要配置3個config server節點；
Mongos： 提供對外應用的訪問，所有操作均通過mongos執行，一般有多個mongos節點，數據遷移和數據自動平衡；
Mongod： 存儲應用數據記錄，一般有多個Mongod節點，達到數據的分片目的。

系統環境：

1. 三臺服務器配置如下：

IP地址	路由服務器	配置服務器	shard1	shard2	shard3
192.168.96.10	20000	21000	27001	27002	27003
192.168.96.11	20000	21000	27001	27002	27003
192.168.96.12	20000	21000	27001	27002	27003

2.操作系統：CentOS 7

3.關閉防火牆和Selinux功能

4.軟件包:mongodb-linux-x86_64-rhel70-3.6.6.tgz 密碼：4h77

開始部署

第一部分三臺服務器安裝及配置

1.解壓安裝包

tar -zxvf mongodb-linux-x86_64-rhel70-3.6.6.tgz -C /usr/local

2.切換到軟件目錄

cd /usr/local

3.重命名目錄名

mv mongodb-linux-x86_64-rhel70-3.6.6 mongodb

4.創建路由、配置、分片服務器的配置、數據、日誌管理目錄

mkdir -p /data/mongodb/conf
mkdir -p /data/mongodb/mongos/log
mkdir -p /data/mongodb/config/data
mkdir -p /data/mongodb/config/log

#循環創建分片服務器目錄
for i in 1 2 3
do
    mkdir -p /data/mongodb/shard$i/data
    mkdir -p /data/mongodb/shard$i/log
done

5.創建管理用戶

useradd -M -s /sbin/nologin mongo

6.修改目錄權限

chown -R mongo.mongo /usr/local/mongodb
chown -R mongo.mongo /data/mongodb

7.添加到系統環境變量中

echo "PATH=/usr/local/mongodb/bin:$PATH" >> /etc/profile

8.重新加載環境變量

source /etc/profile

9.系統參數優化(當前用戶永久生效)

1.編輯當前用戶.bash_profile文件

vim  ~/.bash_profile

2.追加以下優化參數

ulimit -n 25000            //可以打開的最大文件數量
ulimit -u 25000            //用戶最大可用的進程數
sysctl -w vm.zone_reclaim_mode=0                 //當內存不足時，從其他節點分配內存

3.重新加載

source ~/.bash_profile

從Centos7版本開始，MongoDB會建議關閉系統的THP特性，否則可能會導致性能下降。

1. 編輯rc.local文件

vim /etc/rc.d/rc.local

2.在文末添加以下內容

......
//對大內存頁面優化
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
 echo never > /sys/kernel/mm/transparent_hugepage/enabled
 fi
 if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
 echo never > /sys/kernel/mm/transparent_hugepage/defrag
 fi

3.賦予rc.local文件執行權限

chmod +x /etc/rc.d/rc.local

特別提醒：請檢查三臺服務器配置是否都已經配置並啓動好

第二部分配置服務器（三臺配置步驟一致）

1.創建配置文件

vim /data/mongodb/conf/config.conf

#配置文件內容
pidfilepath = /data/mongodb/config/log/config-srv.pid
dbpath = /data/mongodb/config/data
logpath = /data/mongodb/config/log/config-srv.log
logappend = true
bind_ip = 0.0.0.0
port = 21000
fork = true
#declare this is a config db of a cluster;
configsvr = true

#複製集名稱
replSet=configs

#設置最大連接數
maxConns=20000

2.創建啓動腳本：

vim /usr/lib/systemd/system/mongo-config.service

[Unit]
Description=mongodb-config
After=network.target remote-fs.target nss-lookup.target
[Service]
Type=forking
User=mongo
Group=mongo
ExecStart=/usr/local/mongodb/bin/mongod -f /data/mongodb/conf/config.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/usr/local/mongodb/bin/mongod --shutdown -f /data/mongodb/conf/config.conf

PrivateTmp=true

[Install]
WantedBy=multi-user.target

3.啓動configsrv服務器

systemctl daemon-reload
systemctl enable mongo-config
systemctl start mongo-config

特別提醒：三臺服務器都配置完畢後，再進行以下初始化步驟

4.初始化複製集（登錄任意一臺服務器進行初始化複製集）

mongo --port 21000

//配置
> config={"_id":"configs",members:[{"_id":0,"host":"192.168.96.10:21000"},{"_id":1,"host":"192.168.96.11:21000"},{"_id":2,"host":"192.168.96.12:21000"}]}

//初始化
> rs.initiate(config)

//查看狀態
> rs.status()

第三部分分片服務器

一、shard1分片服務器

1.創建配置文件

vim /data/mongodb/conf/shard1.conf

pidfilepath = /data/mongodb/shard1/log/shard1.pid
dbpath = /data/mongodb/shard1/data
logpath = /data/mongodb/shard1/log/shard1.log
logappend = true
journal = true
quiet = true
bind_ip = 0.0.0.0
port = 27001
fork = true

#複製集名稱
replSet=shard1

#declare this is a shard db of a cluster;
shardsvr = true

#設置最大連接數
maxConns=20000

2.創建啓動腳本

vim /usr/lib/systemd/system/mongo-shard1.service

[Unit]
Description=mongodb-shard1
After= mongo-config.target network.target
[Service]
Type=forking
User=mongo
Group=mongo
ExecStart=/usr/local/mongodb/bin/mongod -f /data/mongodb/conf/shard1.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/usr/local/mongodb/bin/mongod --shutdown -f /data/mongodb/conf/shard1.conf
PrivateTmp=true
[Install]
WantedBy=multi-user.target

3.啓動服務

systemctl daemon-reload
systemctl enable mongo-shard1
systemctl start mongo-shard1

特別提醒：三臺服務器都配置完畢後，再進行以下初始化步驟

4.初始化複製集（登錄任意一臺服務器進行初始化複製集）

mongo --port 27001

> use admin

> config={
"_id":"shard1",members:[{"_id":0,"host":"192.168.96.10:27001",arbiterOnly:true},{"_id":1,"host":"192.168.96.11:27001"},{"_id":2,"host":"192.168.96.12:27001"}]}

> rs.initiate(config)

> rs.status()

二、shard2分片服務器

1.創建配置文件

vim /data/mongodb/conf/shard2.conf

pidfilepath = /data/mongodb/shard2/log/shard2.pid
dbpath = /data/mongodb/shard2/data
logpath = /data/mongodb/shard2/log/shard2.log
logappend = true
journal = true
quiet = true
bind_ip = 0.0.0.0
port = 27002
fork = true
#複製集名稱
replSet=shard2
#declare this is a shard db of a cluster;
shardsvr = true
#設置最大連接數
maxConns=20000

2.創建啓動腳本

vim /usr/lib/systemd/system/mongo-shard2.service

[Unit]
Description=mongodb-shard2
After= mongo-config.target network.target
[Service]
Type=forking
User=mongo
Group=mongo
ExecStart=/usr/local/mongodb/bin/mongod -f /data/mongodb/conf/shard2.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/usr/local/mongodb/bin/mongod --shutdown -f /data/mongodb/conf/shard2.conf
PrivateTmp=true
[Install]
WantedBy=multi-user.target

3.啓動服務

systemctl daemon-reload
systemctl enable mongo-shard2
systemctl start mongo-shard2

特別提醒：三臺服務器都配置完畢後，再進行以下初始化步驟

4.初始化複製集（登錄任意一臺服務器進行初始化複製集）

mongo --port 27002

> use admin

> config={"_id":"shard2",members:[{ "_id":0,"host":"192.168.96.10:27002"}, {"_id":1,"host":"192.168.96.11:27002",arbiterOnly:true},{"_id":2,"host":"192.168.96.12:27002"}]}

> rs.initiate(config);

> rs.status()

shard3分片服務器

1.創建配置文件

vim /data/mongodb/conf/shard3.conf

pidfilepath = /data/mongodb/shard3/log/shard3.pid
dbpath = /data/mongodb/shard3/data
logpath = /data/mongodb/shard3/log/shard3.log
logappend = true
journal = true
quiet = true
bind_ip = 0.0.0.0
port = 27003
fork = true

#複製集名稱
replSet=shard3
#declare this is a shard db of a cluster;
shardsvr = true

#設置最大連接數
maxConns=20000

2.創建啓動腳本

vim /usr/lib/systemd/system/mongo-shard3.service

```[Unit]
Description=mongodb-shard3
After= mongo-config.target network.target
[Service]
Type=forking
User=mongo
Group=mongo
ExecStart=/usr/local/mongodb/bin/mongod -f /data/mongodb/conf/shard3.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/usr/local/mongodb/bin/mongod --shutdown -f /data/mongodb/conf/shard3.conf

PrivateTmp=true

[Install]
WantedBy=multi-user.target


#### 3.創建啓動腳本

systemctl daemon-reload
systemctl enable mongo-shard3
systemctl start mongo-shard3


**特別提醒：三臺服務器都配置完畢後，再進行以下初始化步驟**

#### 4.初始化複製集（登錄任意一臺服務器進行初始化複製集）

> mongo --port 27003

use admin

config={"_id":"shard3",members:[{ "_id":0,"host":"192.168.96.10:27003"}, {"_id":1,"host":"192.168.96.11:27003"},{"_id":2,"host":"192.168.96.12:27003",arbiterOnly:true}]}

rs.initiate(config)

rs.status()
 

第四部分 mongos路由服務器

1.創建配置文件

vim /data/mongodb/conf/mongos.conf

pidfilepath = /data/mongodb/mongos/log/mongos.pid
logpath = /data/mongodb/mongos/log/mongos.log
logappend = true
bind_ip = 0.0.0.0
port = 20000
fork = true

#監聽的配置服務器的地址：端口，（重要、重要、重要）
configdb = configs/192.168.96.10:21000,192.168.96.11:21000,192.168.96.12:21000

#設置最大連接數
maxConns=20000

2.創建啓動腳本

vim /usr/lib/systemd/system/mongos.service

[Unit]
Description=Mongo Router Service
After=mongo-config.service

[Service]
Type=forking
User=mongo
Group=mongo
ExecStart=/usr/local/mongodb/bin/mongos --config /data/mongodb/conf/mongos.conf
Restart=on-failure

[Install]
WantedBy=multi-user.target

3.啓動服務

systemctl daemon-reload
systemctl enable mongos
systemctl start mongos

特別提醒：三臺服務器都配置完畢後，再進行以下步驟

4.啓動分片功能（登錄任意一臺服務器）

mongo --port 20000

> use admin

> sh.addShard("shard1/192.168.96.10:27001,192.168.96.11:27001,192.168.96.12:27001")
sh.addShard("shard2/192.168.96.10:27002,192.168.96.11:27002,192.168.96.12:27002")
sh.addShard("shard3/192.168.96.10:27003,192.168.96.11:27003,192.168.96.12:27003")

> sh.status()

5.檢查分片是否成功

> use school
> for(i=1;i<=1000;i++){db.user.insert({"id":i,"name":"jack"+i})}

//開啓school數據庫分片功能
> db.runCommand({enablesharding:"school"}};

//指定school數據庫需要分片的集合和片鍵
> db.runCommand({shardcollection:"school.user",key:{id:1}})

//查看狀態
> db.user.stats()

——————————————————————————————————————————————————————————

mongo資料文檔：https://mongoing.com/docs/

手把手教你搭建MongoDB 3.6高可用集羣（分片技術+仲裁節點+mongos路由+configsvr）

介紹

分片機制提供了三種優勢：

分片集羣架構：

系統環境：

開始部署

第一部分三臺服務器安裝及配置

第二部分配置服務器（三臺配置步驟一致）

第三部分分片服務器

一、shard1分片服務器

二、shard2分片服務器

shard3分片服務器

第四部分 mongos路由服務器

杭州的 IT 崩盤了麼？

開源高性能結構化日誌模塊NanoLog

Azure Virtual Network (22) 多訂閱使用Azure DNS解析問題 Windows Azure Platform 系列文章目錄

Python 潮流週刊#55：分享 9 個高質量的技術類信息源！

【簡寫Mybatis-02】註冊機的實現以及SqlSession處理

手繪二維碼

.NET藉助虛擬網卡實現一個簡單異地組網工具

如何實現網卡bond

config set maxclients 10000 (error) ERR The operating system is not able to handle 解決方案

Django框架queryset常用操作

Go 語言基礎語法從入門到精通

Redis從菜鳥到大神-事務處理

Mac下配置sublime實現LaTeX

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結

手把手教你搭建MongoDB 3.6高可用集羣（分片技術+仲裁節點+mongos路由+configsvr）

介紹

分片機制提供了三種優勢：

分片集羣架構：

系統環境：

開始部署

第一部分 三臺服務器安裝及配置

第二部分 配置服務器（三臺配置步驟一致）

第三部分 分片服務器

一、shard1分片服務器

二、shard2分片服務器

shard3分片服務器

第四部分 mongos路由服務器

第一部分三臺服務器安裝及配置

第二部分配置服務器（三臺配置步驟一致）

第三部分分片服務器