本文介紹如何在springboot項目中集成kafka收發message。
Kafka是一種高吞吐量的分佈式發佈訂閱消息系統,有如下特性: 通過O(1)的磁盤數據結構提供消息的持久化,這種結構對於即使數以TB的消息存儲也能夠保持長時間的穩定性能。高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒數百萬的消息。支持通過Kafka服務器和消費機集羣來分區消息。支持Hadoop並行數據加載。
安裝Kafka
因爲安裝kafka需要zookeeper的支持,所以Windows安裝時需要將zookeeper先安裝上,然後將kafka安裝好就可以了。 下面我給出Mac安裝的步驟以及需要注意的點吧,windows的配置除了所在位置不太一樣其他幾乎沒什麼不同。
1 |
|
對,就是這麼簡單,mac上一個命令就可以搞定了,這個安裝過程可能需要等一會兒,應該是和網絡狀況有關係。安裝提示信息可能有錯誤消息,如"Error: Could not link: /usr/local/share/doc/homebrew" 這個沒關係,自動忽略掉了。 最終我們看到下面的樣子就成功咯。
==> Summary ðŸº/usr/local/Cellar/kafka/1.1.0: 157 files, 47.8MB
安裝的配置文件位置如下,根據自己的需要修改端口號什麼的就可以了。
安裝的zoopeeper和kafka的位置 /usr/local/Cellar/
配置文件 /usr/local/etc/kafka/server.properties /usr/local/etc/kafka/zookeeper.properties
啓動zookeeper
複製代碼代碼如下:
./bin/zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties &
啓動kafka
./bin/kafka-server-start /usr/local/etc/kafka/server.properties &
爲kafka創建Topic,topic 名爲test,可以配置成自己想要的名字,回頭再代碼中配置正確就可以了。
複製代碼代碼如下:
./bin/kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
1、先解決依賴
springboot相關的依賴我們就不提了,和kafka相關的只依賴一個spring-kafka集成包
1 2 3 4 5 |
|
這裏我們先把配置文件展示一下
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
|
2、Configuration:Kafka producer
1)通過@Configuration、@EnableKafka,聲明Config並且打開KafkaTemplate能力。
2)通過@Value注入application.properties配置文件中的kafka配置。
3)生成bean,@Bean
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 |
|
實驗我們的producer,寫一個Controller。想topic=test,key=key,發送消息message
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
|
3、configuration:kafka consumer
1)通過@Configuration、@EnableKafka,聲明Config並且打開KafkaTemplate能力。
2)通過@Value注入application.properties配置文件中的kafka配置。
3)生成bean,@Bean
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 |
|
new Listener()生成一個bean用來處理從kafka讀取的數據。Listener簡單的實現demo如下:只是簡單的讀取並打印key和message值
@KafkaListener中topics屬性用於指定kafka topic名稱,topic名稱由消息生產者指定,也就是由kafkaTemplate在發送消息時指定。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
|
tips:
1)我沒有介紹如何安裝配置kafka,配置kafka時最好用完全bind網絡ip的方式,而不是localhost或者127.0.0.1
2)最好不要使用kafka自帶的zookeeper部署kafka,可能導致訪問不通。
3)理論上consumer讀取kafka應該是通過zookeeper,但是這裏我們用的是kafkaserver的地址,爲什麼沒有深究。
4)定義監聽消息配置時,GROUP_ID_CONFIG配置項的值用於指定消費者組的名稱,如果同組中存在多個監聽器對象則只有一個監聽器對象能收到消息。