本節介紹如何使用阿里雲E-MapReduce部署Hadoop集羣和Kafka集羣,並運行Spark Streaming作業消費Kafka數據。
前提條件
背景信息
在開發過程中,通常會遇到消費Kafka數據的場景。在阿里雲E-MapReduce中,您可通過運行Spark Streaming作業來消費Kafka數據。
步驟一 創建Hadoop集羣和Kafka集羣
推薦您將Hadoop集羣和Kafka集羣創建在同一個安全組下。如果Hadoop集羣和Kafka集羣不在同一個安全組下,則兩者的網絡默認是不互通的,您需要對兩者的安全組分別進行相關配置,以使兩者的網絡互通。
- 登錄阿里雲 E-MapReduce 控制檯。
- 創建Hadoop集羣,詳