環境
flume-1.6.0-cdh5.7.0-bin
kafka_2.11-0.10.0.1
錯誤
圈出來的日誌信息明顯提示我們因爲配置文件的錯誤導致我們sink掛了,所以產生下面的錯誤,org.apache.flume.conf.ConfigurationException: brokerList must contain at least one Kafka broker
開始我沒有關注錯誤信息上面的日誌信息,一直在查找下面這個錯誤的原因,後面發現原來是配置文件的原因。
錯誤如下:
因爲我以前的flume版本是1.7的現在是1.6的,導致配置文件需要修改,去官網一看:
1.7版本:
a1.sinks.k1.kafka.topic =streaming_topic
a1.sinks.k1.kafka.bootstrap.servers = 192.168.137.130:9092
而1.6版本:
a1.sinks.k1.topic = streaming_topic
a1.sinks.k1.brokerList = 192.168.137.130:9092
所以導致我的sink起不來。
總結:
遇到錯誤了一定要認真查看報錯信息,一定要認真查看報錯信息,一定要認真查看報錯信息,重要的事情說三遍。
然後flume每個版本對應的配置信息可能不同大家一定要到對應的版本去查看。