大數據開源工具--組件

將離線包上傳ftp進行使用

一、docker 安裝使用:

(1)解壓
[root@tingnan-DB3 ~]# tar xzvf docker-18.03.1-ce.tgz

(2)將docker文件夾中的內容全部移動到/usr/bin/目錄下
[root@tingnan-DB3 ~]# sudo cp docker/* /usr/bin/

(3)開啓docker守護進程

[root@tingnan-DB3 ~]# sudo dockerd &

(4)docker版本測試

[root@tingnan-DB3 ~]# docker -v

設置docker開機自啓動參考網站:https://www.cnblogs.com/luoSteel/p/10038954.html

二、docker服務運行監控工具部署安裝

[root@tingnan-DB3 ~]# tar xvzf prometheus-2.6.1.linux-amd64.tar.gz
移動到安裝目錄:
[root@tingnan-DB3 ~]# mv prometheus-2.6.1.linux-amd64 /usr/local/prometheus

進入目錄:
[root@tingnan-DB3 ~]# cd /usr/local/prometheus

修改配置文件底部監控本機:
[root@tingnan-DB3 prometheus]# vim prometheus.yml

scrape_configs:

  • job_name: ‘prometheus’
    static_configs:

    監控本地及端口

    • targets: [‘xiangsikai:9090’]

配置文件註解

注:Prometheus從目標機上通過http方式拉取採樣點數據, 它也可以拉取自身服務數據並監控自身的健康狀況。

注:當然Prometheus服務拉取自身服務採樣數據,並沒有多大的用處,但是它是一個好的DEMO。
global:
####### 默認情況下,每15s拉取一次目標採樣點數據。
scrape_interval: 15s
####### 我們可以附加一些指定標籤到採樣點度量標籤列表中, 用於和第三方系統進行通信, 包括:federation, remote storage, Alertmanager
external_labels:
####### 下面就是拉取自身服務採樣點數據配置
monitor: ‘codelab-monitor’
scrape_configs:
####### job名稱會增加到拉取到的所有采樣點上,同時還有一個instance目標服務的host:port標籤也會增加到採樣點上

  • job_name: ‘prometheus’
    ####### 覆蓋global的採樣點,拉取時間間隔5s
    scrape_interval: 5s
    static_configs:
    • targets: [‘localhost:9090’]

啓動服務

./prometheus --config.file=prometheus.yml

指定配置文件

–config.file=“prometheus.yml”
###指定監聽地址端口
–web.listen-address=“0.0.0.0:9090”

最大連接數

–web.max-connections=512

tsdb數據存儲的目錄,默認當前data/

–storage.tsdb.path=“data/”

premetheus 存儲數據的時間,默認保存15天

–storage.tsdb.retention=15d

啓動選項瞭解:./prometheus --help

其它大數據工具

node.js -----node-red

Grafana -----可視化監控指標展示工具

dataX --------數據抽取工具

DolphinScheduler --------調度工具

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章