Kafka在window上安裝部署

1.準備工作  

①jdk

  •  具體自行百度安裝jdk,配置好 JAVA_HOME和path,
  • 下載地址:   http://www.oracle.com/technetwork/java/javase/downloads/index.html,
  •  注意,  選擇1.8的版本,然後環境變量JAVA_HOME,不要選擇默認的"C:\Program Files\Java\jdk1.8.0_151" , 因爲文件夾路徑不能有空格,後面可能啓動kafka服務出錯.

②zookeeper

  • 下載安裝包:http://zookeeper.apache.org/releases.html#download
  • 解壓目錄: D:\Tool,

    1.進入Zookeeper設置目錄,D:\Tool\zookeeper-3.4.13\conf
    2. 將“zoo_sample.cfg”重命名爲“zoo.cfg”
    3. 在文本編輯器(如notepad)中打開zoo.cfg
    4. 找到並編輯dataDir=D:/Tool/zookeeper-3.4.13/tmp (可以自定義文件夾)
    5. 與Java中的做法類似,我們在系統環境變量中添加:
      a. 在系統變量中添加ZOOKEEPER_HOME =D:\Tool\zookeeper-3.4.13
      b. 編輯path系統變量,添加爲路徑 %ZOOKEEPER_HOME%\bin;
    6. 在zoo.cfg文件中修改默認的Zookeeper端口(默認端口2181,可以不用修改)

  • 測試 : 打開新的cmd,輸入zkServer,運行Zookeeper,成功如下所示,

 

③kafka

  • 下載 http://kafka.apache.org/downloads.html,注意要下載二進制版本的,

              

解壓到目錄 D:\Tool\kafka_2.11-2.1.1

1. 編輯文件Kafka配置文件, D:\Tool\kafka_2.11-2.1.1\config\server.properties
2. 找到並編輯log.dirs=D:\Tool\kafka_2.11-2.1.1\kafka-log, (自定義文件夾)
3. 找到並編輯zookeeper.connect=localhost:2181。表示本地運行(默認的可以不改)
4. Kafka會按照默認,在9092端口上運行,並連接zookeeper的默認端口:2181。

 

運行kafka

提示:請確保啓動kafka服務器前,Zookeeper實例已經在運行,因爲kafka的運行是需要zookeeper這種分佈式應用程序協調服務。

①進入kafka安裝目錄D:\bigdata\kafka_2.11-0.9.0.1

②按下shift+鼠標右鍵,選擇"在此處打開命令窗口",打開命令行。

③在命令行中輸入:.\bin\windows\kafka-server-start.bat .\config\server.properties   回車。

④正確運行的情況爲:

到目前爲止,zookeeper以及kafka都已正確運行。保持運行狀態,不要關閉。

 


重要(操作日誌的處理):

 

kafka啓動後,如果你去查看kafka所在的根目錄,或者是kafka本身的目錄,會發現已經默認生成一堆操作日誌(這樣看起來真心很亂):

而且會不斷生成不同時間戳的操作日誌。剛開始不知所措,一番研究後,看了啓動的腳本內容,發現啓動的時候是會默認使用到這個log4j.properties文件中的配置,而在zoo.cfg是不會看到本身的啓動會調用到這個,還以爲只有那一個日誌路徑:

在這裏配置一下就可以了,找到config下的log4j.properties:

將路徑更改下即可,這樣就可以歸檔在一個文件夾下邊了,路徑根據自己喜好定義:

另外如何消除不斷生成日誌的問題,就是同一天的不同時間會不停生成。

修改這裏,還是在log4j.properties中:

本身都爲trace,字面理解爲會生成一堆跟蹤日誌,將其改爲INFO即可。

 

2.5 創建主題

①創建主題,命名爲"test0811",replicationfactor=1(因爲只有一個kafka服務器在運行)。可根據集羣中kafka服務器個數來修改replicationfactor的數量,以便提高系統容錯性等。

②在D:\bigdata\kafka_2.11-0.9.0.1\bin\windows目錄下打開新的命令行

③輸入命令:

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test0811

回車。 

該窗口可以關閉。

 

2.6 創建生產者(producer)和消費者(consumer)

①在D:\bigdata\kafka_2.11-0.9.0.1\bin\windows目錄下打開新的命令行。

②輸入命令,啓動producer:

kafka-console-producer.bat --broker-list localhost:9092 --topic test0811 

該窗口不要關閉。

③同樣在該目錄下打開新的命令行。

④輸入命令,啓動consumer:

kafka-console-consumer.bat --zookeeper localhost:2181 --topic test0811

現在生產者、消費者均已創建完成。

⑤在producer命令行窗口中任意輸入內容,回車  在consumer命令行窗口中即可看到相應的內容。

至此,已完成kafka在windows下的安裝和基本的使用。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章