flume多節點集羣搭建

原創 风神的炽天使 2020-02-26 05:10

概覽

1.Flume流程簡介
2.規劃
3.配置
4.啓動測試
5.注意

準備

操作系統:CentOS 7
搭建好hadoop集羣
Flume版本:1.8.0
jdk版本:1.8.0_141
工具:Xshell 5,Xftp 5,VMware Workstation Pro

1.Flume流程簡介

Flume NG是一個分佈式、可靠、可用的系統，它能夠將不同數據源的海量日誌數據進行高效收集、聚合，最後存儲到一箇中心化數據存儲系統中,方便進行數據分析。事實上flume也可以收集其他信息，不僅限於日誌。由原來的Flume OG到現在的Flume NG，進行了架構重構，並且現在NG版本完全不兼容原來的OG版本。相比較而言，flume NG更簡單更易於管理操作。
Flume OG:Flume original generation 即Flume 0.9.x版本
Flume NG:Flume next generation 即Flume 1.x版本。
Flume NG用戶參考手冊：http://flume.apache.org/FlumeUserGuide.html#

簡單比較一下兩者的區別：
OG有三個組件agent、collector、master，agent主要負責收集各個日誌服務器上的日誌，將日誌聚合到collector，可設置多個collector，master主要負責管理agent和collector，最後由collector把收集的日誌寫的HDFS中，當然也可以寫到本地、給storm、給Hbase。
在這裏插入圖片描述
NG最大的改動就是不再有分工角色設置，所有的都是agent，可以彼此之間相連，多個agent連到一個agent，此agent也就相當於collector了，NG也支持負載均衡.
在這裏插入圖片描述

2.規劃

三臺主機的主機名分別爲master,slave1,slave2(防火牆已關閉)

由slave1和slave2收集日誌信息,傳給master,再由master上傳到hdfs上

3.配置

3.1上傳解壓
在slave1上的usr文件夾下新建個flume文件夾,用作安裝路徑

[root@slave1 usr]# mkdir flume
[root@slave1 usr]# ls
bin  etc  flume  games  hadoop  hbase  include  java  lib  lib64  libexec  local  sbin  share  sqoop  src  tmp  zookeeper
[root@slave1 usr]# cd flume/

利用Xftp工具將flume壓縮包上傳到usr/flume文件夾下,解壓

[root@slave1 flume]# ls
apache-flume-1.8.0-bin.tar.gz
[root@slave1 flume]# tar -zxf apache-flume-1.8.0-bin.tar.gz

3.2 .配置flume-env.sh文件

# 進入到conf文件夾下
[root@slave1 flume]# cd apache-flume-1.8.0-bin/conf/
[root@slave1 conf]# ls
flume-conf.properties.template  flume-env.ps1.template  flume-env.sh.template  log4j.properties
# 拷貝出來一個flume-env.sh文件
[root@slave1 conf]# cp flume-env.sh.template flume-env.sh
[root@slave1 conf]# ls
flume-conf.properties.template  flume-env.ps1.template  flume-env.sh  flume-env.sh.template  log4j.properties
# 修改flume-env.sh文件
[root@slave1 conf]# vim flume-env.sh

將java的安裝路徑修改爲自己的
在這裏插入圖片描述
我的是/usr/java/jdk1.8.0_141
在這裏插入圖片描述

3.3 配置slave.conf文件
在conf下創建一個新的slave.conf文件

#創建
[root@slave1 conf]# touch slave.conf
#修改
[root@slave1 conf]# vim slave.conf

寫入配置內容

# 主要作用是監聽目錄中的新增數據，採集到數據之後，輸出到avro （輸出到agent）
# 注意：Flume agent的運行，主要就是配置source channel sink
# 下面的a1就是agent的代號，source叫r1 channel叫c1 sink叫k1

a1.sources = r1
a1.sinks = k1
a1.channels = c1

#具體定義source  
a1.sources.r1.type = spooldir
#先創建此目錄，保證裏面空的  
a1.sources.r1.spoolDir = /logs 

#對於sink的配置描述 使用avro日誌做數據的消費
a1.sinks.k1.type = avro
# hostname是最終傳給的主機名稱或者ip地址
a1.sinks.k1.hostname = master
a1.sinks.k1.port = 44444

#對於channel的配置描述 使用文件做數據的臨時緩存 這種的安全性要高
#需自己創建
a1.channels.c1.type = file
a1.channels.c1.checkpointDir = /data/flume/checkpoint
a1.channels.c1.dataDirs = /data/flume/data

#通過channel c1將source r1和sink k1關聯起來
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

保存退出
3.4 將flume發送到其他主機

[root@slave1 conf]# scp -r /usr/flume/ root@slave2:/usr/
[root@slave1 conf]# scp -r /usr/flume/ root@master:/usr/

3.5 修改master中flume的配置
在master的flume的conf文件夾下創建一個master.conf文件

[root@master conf]# vim master.conf

寫入配置信息

# 獲取slave1,2上的數據，聚合起來，傳到hdfs上面
# 注意：Flume agent的運行，主要就是配置source channel sink
# 下面的a1就是agent的代號，source叫r1 channel叫c1 sink叫k1

a1.sources = r1
a1.sinks = k1
a1.channels = c1

#對於source的配置描述 監聽avro
a1.sources.r1.type = avro
# hostname是最終傳給的主機名稱或者ip地址
a1.sources.r1.bind = master
a1.sources.r1.port = 44444


#定義攔截器，爲消息添加時間戳  
a1.sources.r1.interceptors = i1  
a1.sources.r1.interceptors.i1.type = org.apache.flume.interceptor.TimestampInterceptor$Builder

#對於sink的配置描述 傳遞到hdfs上面
a1.sinks.k1.type = hdfs  
#集羣的nameservers名字
#單節點的直接寫：hdfs://主機名(ip):9000/xxx
#ns是hadoop集羣名稱
a1.sinks.k1.hdfs.path = hdfs://ns/flume/%Y%m%d  
a1.sinks.k1.hdfs.filePrefix = events-  
a1.sinks.k1.hdfs.fileType = DataStream  
#不按照條數生成文件  
a1.sinks.k1.hdfs.rollCount = 0  
#HDFS上的文件達到128M時生成一個文件  
a1.sinks.k1.hdfs.rollSize = 134217728  
#HDFS上的文件達到60秒生成一個文件  
a1.sinks.k1.hdfs.rollInterval = 60  


#對於channel的配置描述 使用內存緩衝區域做數據的臨時緩存
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

#通過channel c1將source r1和sink k1關聯起來
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

保存退出

4.啓動測試

確認防火牆關閉
首先啓動Zookeeper和hadoop集羣,參考hadoop集羣搭建中的啓動

然後先啓動master上的flume(如果先啓動slave上的會導致拒絕連接)

在apache-flume-1.8.0-bin目錄下啓動(因爲沒有配置環境變量)

[root@master apache-flume-1.8.0-bin]# bin/flume-ng agent -n a1 -c conf -f conf/master.conf -Dflume.root.logger=INFO,console

如此便是啓動成功
在這裏插入圖片描述
如果想後臺啓動(這樣可以不用另開窗口操作)

# 命令後加&
[root@master apache-flume-1.8.0-bin]# bin/flume-ng agent -n a1 -c conf -f conf/master.conf -Dflume.root.logger=INFO,console &

再啓動slave1,2上的flume
首先在slave1,2的根目錄創建logs目錄

[root@slave1 apache-flume-1.8.0-bin]# cd /
[root@slave1 /]# mkdir logs

不然會報錯

[ERROR - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:251)] Unable to start EventDrivenSourceRunner: { source:Spool Directory source r1: { spoolDir: /logs } } - Exception follows.
java.lang.IllegalStateException: Directory does not exist: /logs
	at com.google.common.base.Preconditions.checkState(Preconditions.java:145)
	at org.apache.flume.client.avro.ReliableSpoolingFileEventReader.<init>(ReliableSpoolingFileEventReader.java:159)
	at org.apache.flume.client.avro.ReliableSpoolingFileEventReader.<init>(ReliableSpoolingFileEventReader.java:85)
	at org.apache.flume.client.avro.ReliableSpoolingFileEventReader$Builder.build(ReliableSpoolingFileEventReader.java:777)
	at org.apache.flume.source.SpoolDirectorySource.start(SpoolDirectorySource.java:107)
	at org.apache.flume.source.EventDrivenSourceRunner.start(EventDrivenSourceRunner.java:44)
	at org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:249)
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
	at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308)
	at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:180)
	at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:294)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)


#slave1
[root@slave1 /]# cd /usr/flume/apache-flume-1.8.0-bin
[root@slave1 apache-flume-1.8.0-bin]# bin/flume-ng agent -n a1 -c conf -f conf/slave.conf -Dflume.root.logger=INFO,console

#slave2
[root@slave2 /]# cd /usr/flume/apache-flume-1.8.0-bin
[root@slave2 apache-flume-1.8.0-bin]# bin/flume-ng agent -n a1 -c conf -f conf/slave.conf -Dflume.root.logger=INFO,console

測試

啓動成功後(如果沒有後臺啓動另開個窗口繼續下面操作)
在這裏插入圖片描述

在slave1的usr/tmp文件夾下新建個test文件

[root@slave1 tmp]# vim test

隨便寫入一些內容

helloworld
test

保存退出
將其複製到logs文件夾下

[root@slave1 tmp]# cp test /logs/

查看master
在這裏插入圖片描述
登錄http://(hadoop中active狀態的namenode節點IP):50070/explorer.html#

在這裏插入圖片描述

在這裏插入圖片描述
在這裏插入圖片描述

如此便是flume多節點集羣搭建完成

5.注意

登錄查看需要是active的節點地址,具體參考hadoop集羣搭建中的測試

在啓動slave上的flume前要先建立logs文件夾,也就是flume安裝路徑/conf下的slave.conf文件中的
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

HBase學習之路 （三）HBase集羣Shell操作

风神的炽天使 2020-02-26 05:10:39

Hive常用基礎HQL語句

风神的炽天使 2020-02-26 05:10:39

HBase學習之路 （五）MapReduce操作Hbase

风神的炽天使 2020-02-26 05:10:39

Hadoop 遇到的問題

风神的炽天使 2020-02-26 05:10:39

hive 遇到的問題與總結

风神的炽天使 2020-02-26 05:10:29

centos hadoop 僞分佈

风神的炽天使 2020-02-26 05:10:29

Hive 處理數據例子

风神的炽天使 2020-02-26 05:10:29

HBase學習之路 （三）HBase集羣Shell操作

风神的炽天使 2020-02-26 05:10:39

Hive常用基礎HQL語句

风神的炽天使 2020-02-26 05:10:39

HBase學習之路 （五）MapReduce操作Hbase

风神的炽天使 2020-02-26 05:10:39

Hadoop 遇到的問題

风神的炽天使 2020-02-26 05:10:39

hive 遇到的問題與總結

风神的炽天使 2020-02-26 05:10:29

centos hadoop 僞分佈

风神的炽天使 2020-02-26 05:10:29

Hadoop 2.0 HA 3節點高可用集羣搭建

风神的炽天使 2020-02-26 05:10:29

Hive 處理數據例子

风神的炽天使 2020-02-26 05:10:29