六、將tracker、mogstored、mariadb組裝成完整的mogilefs系統,並測試使用
在三個節點中任選一個,啓動mogilefsd服務,然後使用mogadm添加各項組件
比如:node1上啓動服務:
[root@node1 mogilefs]# service mogilefsd start
Starting mogilefsd [ OK ]
對此節點做檢測:
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 check
Checking trackers... 172.16.20.50:7001 ... OK Checking hosts...No devices found on tracker(s).
mogilefs各種組件的組裝時通過mogadm 命令來添加的。
使用 “ # mogadm --help” 可以查看用法
(一)添加主機host
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 host add mogstore1 --ip=172.16.20.50 --status=alive [root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 host add mogstore2 --ip=172.16.20.100 --status=alive [root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 host add mogstore3 --ip=172.16.20.150 --status=alive [root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 host list mogstore1 [1]: alive IP: 172.16.20.50:7500 mogstore2 [2]: alive IP: 172.16.20.100:7500 mogstore3 [3]: alive IP: 172.16.20.150:7500
(二)添加設備
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 device add mogstore1 1 [root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 device add mogstore2 2 [root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 device add mogstore3 3 [root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 device list mogstore1 [1]: alive used(G) free(G) total(G) weight(%) dev1: alive 0.000 0.000 0.000 100 mogstore2 [2]: alive used(G) free(G) total(G) weight(%) dev2: alive 0.000 0.000 0.000 100 mogstore3 [3]: alive used(G) free(G) total(G) weight(%) dev3: alive 0.000 0.000 0.000 100
問題:在添加設備後,用設備顯示命令查看結果,total都是0,而原來我們設定的是10G,產生這樣結果的原因是程序沒有讀取到設備造成的。通過“ps aux”命令可以查看到,mogstored守護進程的屬主是mogilefs,但是設備的屬主和屬組都是root,其他用戶也沒有rw權限,mogilefs沒法使用掛載的分區。
[root@node2 mogilefs]# ps aux | grep mogstored mogilefs 10966 0.0 1.4 229224 14368 ? Ssl 17:54 0:00 mogstored mogilefs 10968 0.0 0.2 122900 2708 ? S 17:54 0:00 mogstored [diskusage] mogilefs 10969 0.0 0.2 122900 2684 ? S 17:54 0:00 mogstored [iostat] root 11448 0.0 0.0 103252 840 pts/1 S+ 18:21 0:00 grep mogstored [root@node2 mogilefs]# ll /mogstore/ total 20 drwxr-xr-x 2 root root 4096 Jun 27 17:47 dev2 drwx------ 2 root root 16384 Jun 27 11:33 lost+found
修改3個節點相關目錄屬主和屬組,並重新查看
# chown -R mogilefs:mogilefs /mogstore
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 device list mogstore1 [1]: alive used(G) free(G) total(G) weight(%) dev1: alive 0.021 9.196 9.218 100 mogstore2 [2]: alive used(G) free(G) total(G) weight(%) dev2: alive 0.021 9.196 9.218 100 mogstore3 [3]: alive used(G) free(G) total(G) weight(%) dev3: alive 0.021 9.196 9.218 100
設備已經可用!
(三)添加domain
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 domain add images
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 domain add conffiles
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 domain add rpms
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 domain list
domain class mindevcount replpolicy hashtype
-------------------- -------------------- ------------- ------------ -------
conffiles default 2 MultipleHosts() NONE
images default 2 MultipleHosts() NONE
rpms default 2 MultipleHosts() NONE
(四)添加class
通過“# mogadm --tracker=172.16.20.50:7001 class”可獲得class的相關幫助:
mogadm class add <domain> <class> [opts] Add a file class to a domain. mogadm class delete <domain> <class> Delete a file class from a domain. mogadm class list List all classes, for each domain. mogadm class modify <domain> <class> [opts] Modify properties of a file class.
通過“# mogadm --tracker=172.16.20.50:7001 class add”可獲得class add的相關幫助:
mogadm class add <domain> <class> [opts] Add a file class to a domain.
<class> Name of class to add.
<domain> Domain to add class to.
--hashtype=s Hash algorithm string ('MD5', 'NONE').
--mindevcount=i Minimum number of replicas.
--replpolicy=s Replication policy string.
依此類推
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 class add rpms nginxs --mindevcount 3
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 class list
domain class mindevcount replpolicy hashtype
-------------------- -------------------- ------------- ------------ -------
conffiles default 2 MultipleHosts() NONE
images default 2 MultipleHosts() NONE
rpms default 2 MultipleHosts() NONE
rpms nginxs 3 MultipleHosts() NONE
(五)上傳文件使用
[root@node2 mogilefs]# mogupload
Usage: /usr/bin/mogupload --trackers=host --domain=foo --key='/hello.jpg' --file='./hello.jpg'
[root@node2 mogilefs]# mogupload --tracker=172.16.20.50:7001 --domain=rpms --key="nginx.1.6.2.rpm" --file="/root/nginx-1.6.2.tar.gz"
[root@node2 mogilefs]# mogupload --tracker=172.16.20.50:7001 --domain=rpms --key="/nginx.1.6.2.rpm" --file="/root/nginx-1.6.2.tar.gz"
上傳的文件,如果是圖片,可以直接打開,如果是其他類型,根據瀏覽器設置,有可能直接下載(如上面的nginx程序包)
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 class modify images default --mindevcount=3
[root@node2 mogilefs]# mogfileinfo --trackers=172.16.20.50:7001 --domain=images --key="/3.jpg"
- file: /3.jpg
class: default
devcount: 3
domain: images
fid: 7
key: /3.jpg
length: 662705
- http://172.16.20.150:7500/dev3/0/000/000/0000000007.fid
- http://172.16.20.50:7500/dev1/0/000/000/0000000007.fid
- http://172.16.20.100:7500/dev2/0/000/000/0000000007.fid
[root@node2 mogilefs]# mogupload --trackers=172.16.20.50:7001 --domain=conffiles --key="/fstab" --file="/etc/fstab"
[root@node2 mogilefs]# mogfileinfo --trackers=172.16.20.50:7001 --domain=conffiles --key="/fstab"
- file: /fstab
class: default
devcount: 2
domain: conffiles
fid: 8
key: /fstab
length: 1076
- http://172.16.20.150:7500/dev3/0/000/000/0000000008.fid
-
http://172.16.20.100:7500/dev2/0/000/000/0000000008.fid
刪除class:
[root@node2 mogilefs]# mogadm --trackers=172.16.20.50:7001 class delete rpms nginxs
[root@node2 mogilefs]# mogadm --trackers=172.16.20.50:7001 class list
domain class mindevcount replpolicy hashtype
-------------------- -------------------- ------------- ------------ -------
conffiles default 2 MultipleHosts() NONE
images default 3 MultipleHosts() NONE
rpms default 3 MultipleHosts() NONE
注:
1、無論是刪除domain、class還是host,只要裏面包含有文件,都不能刪除。
2、要刪除domain,必須先確保裏面除default外沒有新加的class
七、高可用說明
在此處的三個節點中都提供了tracker和mogstored,只要都啓動tracker和mogstored, 就提供了tracker和mogstored的高可用。
確保node2和node3的”/etc/mogilefs/mogilefsd.conf“文件與node1配置好的文件一致,除了監聽地址修改爲節點自己的IP:
listen = 172.16.20.100:7001
listen = 172.16.20.150:7001
# service mogilefsd start
此時,可以通過任意一個節點的tracker訪問:
# mogadm --trackers=172.16.20.10:7001,172.16.20.150:7001,172.16.20.50:7001 host list
注:雖然有錯誤IP,但只要有一個IP是正確的,都可以執行成功
八、通過nginx反向代理實現存儲文件的快捷訪問
沒有反向代理時,要通過瀏覽器訪問則只能將長長的pid路徑複製到地址欄纔可以,極不方便。
而nginx支持各種各樣的模塊,其中就有一個模塊能讓我們實現快捷訪問。
詳細幫助文檔查看nginx官網網頁:
http://www.grid.net.ru/nginx/mogilefs.en.html
因爲node1節點上的程序沒有使用80端口的,所以,此次就用node1上安裝nginx做反代。
yum安裝的nginx不支持此擴展模塊,需編譯安裝。
(一)編譯安裝nginx
確保編譯的環境——兩個程序包組已經安裝:
Development tools
Server Platform Development
安裝pcre-devel-7.8-6.el6.x86_64.rpm 程序包:
# yum -y install pcre-devel
# groupadd -r nginx
# useradd -r -g nginx nginx
下載nginx源碼包,版本一般不要太新,生產環境以穩爲前提。
nginx-1.6.2.tar.gz
nginx_mogilefs_module-1.0.4.tar.gz
# ./configure --prefix=/usr/local/nginx \ > --sbin-path=/usr/local/nginx/sbin/nginx \ > --conf-path=/etc/nginx/nginx.conf \ > --error-log-path=/var/log/nginx/error.log \ > --http-log-path=/var/log/nginx/access.log \ > --pid-path=/var/run/nginx/nginx.pid \ > --lock-path=/var/lock/nginx.lock \ > --user=nginx \ > --group=nginx \ > --with-http_ssl_module \ > --with-http_flv_module \ > --with-http_stub_status_module \ > --with-http_gzip_static_module \ > --http-client-body-temp-path=/var/tmp/nginx/client/ \ > --http-proxy-temp-path=/var/tmp/nginx/proxy/ \ > --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \ > --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \ > --http-scgi-temp-path=/var/tmp/nginx/scgi \ > --with-pcre \ > --add-module=/root/nginx_mogilefs_module-1.0.4
編譯過程有以下顯示:
adding module in /root/nginx_mogilefs_module-1.0.4
+ ngx_http_mogilefs_module was configured
# mkdir -pv /var/tmp/nginx/{client,proxy,uwsgi}
提供服務腳本:
# vim /etc/rc.d/init.d/nginx
#!/bin/sh # # nginx - this script starts and stops the nginx daemon # # chkconfig: - 85 15 # description: Nginx is an HTTP(S) server, HTTP(S) reverse \ # proxy and IMAP/POP3 proxy server # processname: nginx # config: /etc/nginx/nginx.conf # config: /etc/sysconfig/nginx # pidfile: /var/run/nginx.pid # Source function library. . /etc/rc.d/init.d/functions # Source networking configuration. . /etc/sysconfig/network # Check that networking is up. [ "$NETWORKING" = "no" ] && exit 0 nginx="/usr/local/nginx/sbin/nginx" prog=$(basename $nginx) NGINX_CONF_FILE="/etc/nginx/nginx.conf" [ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx lockfile=/var/lock/subsys/nginx make_dirs() { # make required directories user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -` options=`$nginx -V 2>&1 | grep 'configure arguments:'` for opt in $options; do if [ `echo $opt | grep '.*-temp-path'` ]; then value=`echo $opt | cut -d "=" -f 2` if [ ! -d "$value" ]; then # echo "creating" $value mkdir -p $value && chown -R $user $value fi fi done } start() { [ -x $nginx ] || exit 5 [ -f $NGINX_CONF_FILE ] || exit 6 make_dirs echo -n $"Starting $prog: " daemon $nginx -c $NGINX_CONF_FILE retval=$? echo [ $retval -eq 0 ] && touch $lockfile return $retval } stop() { echo -n $"Stopping $prog: " killproc $prog -QUIT retval=$? echo [ $retval -eq 0 ] && rm -f $lockfile return $retval } restart() { configtest || return $? stop sleep 1 start } reload() { configtest || return $? echo -n $"Reloading $prog: " killproc $nginx -HUP RETVAL=$? echo } force_reload() { restart } configtest() { $nginx -t -c $NGINX_CONF_FILE } rh_status() { status $prog } rh_status_q() { rh_status >/dev/null 2>&1 } case "$1" in start) rh_status_q && exit 0 $1 ;; stop) rh_status_q || exit 0 $1 ;; restart|configtest) $1 ;; reload) rh_status_q || exit 7 $1 ;; force-reload) force_reload ;; status) rh_status ;; condrestart|try-restart) rh_status_q || exit 0 ;; *) echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}" exit 2 esac
# chmod +x /etc/rc.d/init.d/nginx
# chkconfig --add nginx
# service nginx restart
網頁訪問正常:
(二)修改nginx配置文件,提供mogilefs的反向代理
# vim /etc/nginx/nginx.conf
worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; upstream mogtrackers { server 172.16.20.50:7001; server 172.16.20.100:7001; server 172.16.20.150:7001; } server { listen 80; server_name localhost; location / { root html; index index.html index.htm; } location /images { mogilefs_tracker mogtrackers; mogilefs_domain images; mogilefs_pass { proxy_pass $mogilefs_path; proxy_hide_header Content-Type; proxy_buffering off; } } location /upload { allow 172.16.0.0/16; deny all; mogilefs_tracker 172.16.20.50:7001; mogilefs_domain images; mogilefs_methods PUT DELETE; mogilefs_pass { proxy_pass $mogilefs_path; proxy_hide_header Content-Type; proxy_buffering off; } } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } }
# service nginx configtest
# service nginx reload
瀏覽器查看結果,代理設置成功:
這裏只設置了images 域的反向代理,需要其他域的反向代理,只需要再添加location即可
使用curl命令刪除文件:
但是上傳文件時會出錯,需要打補丁:
詳情見這個 https://www.ruby-forum.com/topic/217606
(注:不保證patch無安全問題)
實際應用中,一般是在網頁上,程序員編寫大代碼調用mogilefs的API,我們只需要點一個按鈕就能選擇本地文件,並在後面的輸入框裏填寫上傳後的文件名,點擊確認就能完成上傳。刪除也是按鈕化操作。
試驗結束。