kafka官網步驟：http://kafka.apache.org/quickstart
快速開始
本教程假定您開始新鮮，沒有現有的Kafka或ZooKeeper數據。由於基於Unix和Windows平臺的Kafka控制檯腳本不同，因此在Windows平臺上使用bin\windows\而不是bin/，並將腳本擴展名更改爲.bat。
第1步：下載代碼
下載 1.0.0版本並解壓縮。
1 > tar -xzf kafka_2.11-1.0.0.tgz
2 > cd kafka_2.11-1.0.0
第2步：啓動服務器
Kafka使用ZooKeeper，因此如果您還沒有ZooKeeper服務器，您需要先啓動ZooKeeper服務器。您可以使用與kafka一起打包的便捷腳本來獲得一個快速而簡單的單節點ZooKeeper實例。
bin/zookeeper-server-start.sh config/zookeeper.properties
[2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
...
現在動Kafka服務器：
1 > bin/kafka-server-start.sh config/server.properties
2 [2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)
3 [2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
4 ...
第3步：創建一個主題
我們用一個分區和一個副本創建一個名爲“test”的主題：
1 > bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
我們現在可以看到這個話題，如果我們運行列表主題命令：
1 > bin/kafka-topics.sh --list --zookeeper localhost:2181
2 test
或者，您也可以將代理配置爲在發佈不存在的主題時自動創建主題，而不是手動創建主題。
第4步：發送一些消息
Kafka帶有一個命令行客戶端，它將從文件或標準輸入中獲取輸入，並將其作爲消息發送到Kafka集羣。默認情況下，每行將作爲單獨的消息發送。
運行生產者，然後在控制檯輸入一些消息發送到服務器。
1 > bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
2 This is a message
3 This is another message
第5步：啓動一個用戶
卡夫卡也有一個命令行消費者，將消息轉儲到標準輸出。
1 > bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
2 This is a message
3 This is another message
如果您將上述每個命令都運行在不同的終端中，則現在應該可以將消息鍵入生產者終端，並將其顯示在消費者終端中。
所有的命令行工具都有其他選項。不帶任何參數運行該命令將顯示使用信息更詳細地記錄它們。
第6步：設置多代理羣集
到目前爲止，我們一直在與一名經紀人競爭，但這並不好玩。對於卡夫卡來說，一個經紀人只是一個規模一個的集羣，所以除了開始一些經紀人實例之外沒有太大的變化。但是爲了得到它的感覺，讓我們把我們的集羣擴展到三個節點（仍然都在我們的本地機器上）。
首先，我們爲每個代理創建一個配置文件（在Windows上使用該copy命令）：
1 > cp config/server.properties config/server-1.properties
2 > cp config/server.properties config/server-2.properties
現在編輯這些新文件並設置以下屬性：
1 config/server-1.properties:
2 broker.id=1
3 listeners=PLAINTEXT://:9093
4 log.dir=/tmp/kafka-logs-1
五
6 config/server-2.properties:
7 broker.id=2
8 listeners=PLAINTEXT://:9094
9 log.dir=/tmp/kafka-logs-2
該broker.id屬性是羣集中每個節點的唯一且永久的名稱。我們必須重寫端口和日誌目錄，因爲我們在同一臺機器上運行這些端口和日誌目錄，我們希望讓所有的代理都試圖在同一個端口註冊或覆蓋彼此的數據。
我們已經有Zookeeper和我們的單節點了，所以我們只需要啓動兩個新的節點：
1 > bin/kafka-server-start.sh config/server-1.properties &
2 ...
3 > bin/kafka-server-start.sh config/server-2.properties &
4 ...
現在創建一個複製因子爲三的新主題：
1 > bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
好吧，但現在我們有一個集羣，我們怎麼知道哪個經紀人在做什麼？要查看運行“描述主題”命令：
1 > bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
2 Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
3 Topic: my-replicated-topic Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0
這裏是對輸出的解釋。第一行給出了所有分區的摘要，每個附加行給出了關於一個分區的信息。由於我們只有一個分區，所以只有一行。
“leader”是負責給定分區的所有讀取和寫入的節點。每個節點將成爲分區隨機選擇部分的領導者。
“副本”是複製此分區日誌的節點列表，無論它們是否是領導者，或者即使他們當前處於活動狀態。
“isr”是一組“同步”副本。這是複製品列表的子集，當前活着並被引導到領導者。
請注意，在我的示例中，節點1是該主題的唯一分區的領導者。
我們可以在我們創建的原始主題上運行相同的命令來查看它的位置：
1 > bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
2 Topic:test PartitionCount:1 ReplicationFactor:1 Configs:
3 Topic: test Partition: 0 Leader: 0 Replicas: 0 Isr: 0
所以這裏並不奇怪，原來的主題沒有副本，而且在服務器0上，這是我們創建集羣時唯一的服務器。
讓我們發表一些信息給我們的新主題：
1 > bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic
2 ...
3 my test message 1
4 my test message 2
五^C
現在讓我們消費這些消息：
1 > bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic
2 ...
3 my test message 1
4 my test message 2
五 ^C
現在我們來測試一下容錯。經紀人1是作爲領導者，所以讓我們殺了它：
1 > ps aux | grep server-1.properties
2 7564 ttys002 0:15.91 /System/Library/Frameworks/JavaVM.framework/Versions/1.8/Home/bin/java...
3 > kill -9 7564
在Windows上使用：
1 > wmic process where "caption = 'java.exe' and commandline like '%server-1.properties%'" get processid
2 ProcessId
3 6016
4 > taskkill /pid 6016 /f
領導已經切換到其中一個從屬節點，並且節點1不再處於同步副本集合中：
1 > bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
2 Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
3 Topic: my-replicated-topic Partition: 0 Leader: 2 Replicas: 1,2,0 Isr: 2,0
但是，即使原先寫入的領導者失敗，這些消息仍然可用於消費：
1 > bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic
2 ...
3 my test message 1
4 my test message 2
五 ^C
第7步：使用Kafka Connect來導入/導出數據
從控制檯寫入數據並將其寫回控制檯是一個方便的起點，但您可能想要使用其他來源的數據或將數據從Kafka導出到其他系統。對於許多系統，您可以使用Kafka Connect來導入或導出數據，而不必編寫自定義集成代碼。
Kafka Connect是Kafka包含的一個工具，可以將數據導入和導出到Kafka。它是一個可擴展的工具，運行 連接器，實現與外部系統交互的自定義邏輯。在這個快速入門中，我們將看到如何使用簡單的連接器運行Kafka Connect，這些連接器將數據從文件導入到Kafka主題，並將數據從Kafka主題導出到文件。
首先，我們將通過創建一些種子數據開始測試：
1 > echo -e "foo\nbar" > test.txt
或在Windows上：
1 > echo foo> test.txt
2 > echo bar>> test.txt
接下來，我們將啓動兩個以獨立模式運行的連接器，這意味着它們將在單個本地專用進程中運行。我們提供三個配置文件作爲參數。首先是Kafka Connect過程的配置，包含常見的配置，例如要連接的Kafka代理以及數據的序列化格式。其餘的配置文件都指定一個要創建的連接器。這些文件包括唯一的連接器名稱，要實例化的連接器類以及連接器所需的任何其他配置。
1 > bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties
Kafka附帶的這些示例配置文件使用您之前啓動的默認本地羣集配置，並創建兩個連接器：第一個是源連接器，用於讀取輸入文件中的行，並將每個連接生成爲Kafka主題，第二個爲連接器連接器它從Kafka主題讀取消息，並在輸出文件中產生每行消息。
在啓動過程中，您會看到一些日誌消息，其中一些指示連接器正在實例化。一旦Kafka Connect進程啓動，源連接器應該開始讀取線路test.txt並將其生成到主題connect-test，並且接收器連接器應該開始讀取主題中的消息connect-test 並將其寫入文件test.sink.txt。我們可以通過檢查輸出文件的內容來驗證通過整個管道傳輸的數據：
1 > more test.sink.txt
2 foo
3 bar
請注意，數據存儲在Kafka主題中connect-test，因此我們也可以運行控制檯使用者來查看主題中的數據（或使用自定義使用者代碼來處理它）：
1 > bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning
2 {"schema":{"type":"string","optional":false},"payload":"foo"}
3 {"schema":{"type":"string","optional":false},"payload":"bar"}
4 ...
連接器繼續處理數據，所以我們可以將數據添加到文件中，並看到它在管道中移動：
1 > echo Another line>> test.txt
您應該看到該行出現在控制檯使用者輸出和接收器文件中。
第8步：使用Kafka流來處理數據
Kafka Streams是用於構建關鍵任務實時應用程序和微服務的客戶端庫，輸入和/或輸出數據存儲在Kafka集羣中。Kafka Streams結合了在客戶端編寫和部署標準Java和Scala應用程序的簡單性以及Kafka服務器端集羣技術的優勢，使這些應用程序具有高度可伸縮性，彈性，容錯性，分佈式等特性。本快速入門示例將演示如何運行在此庫中編碼的流式應用程序。
更多詳情請訪問：http://kafka.apache.org/10/documentation/streams/tutorial