使用hangout將Kafka數據實時清洗寫入ClickHouse

版權聲明：本文爲博主原創文章，未經博主允許不得轉載。 https://blog.csdn.net/huochen1994/article/details/78771379

使用hangout將Kafka數據實時清洗寫入ClickHouse

---

什麼是Hangout

Hangout可以說是JAVA版的Logstash，可以進行數據收集、分析並且將分析後的結果寫入指定的地方
項目地址

什麼是ClickHouse

ClickHouse是一個數據分析的數據庫，由Yandex開源
項目地址

什麼是hangout-output-clickhouse

hangout-output-clickhouse是一個將數據源中的數據實時寫入ClickHouse的插件。
項目地址

使用方法

• 從項目release中下載jar包，放置hangout/modules目錄下
• 插件使用

- com.sina.bip.hangout.outputs.Clickhouse:
        host: clickhouse.bip.sina.com.cn:8123
        database: apm
        table: apm_netdiagno
        fields: ['_device_id', '_ping_small', '_domain', '_traceroute', '_ping_big', 'date', 'ts', '_snet']
        bulk_size: 500

具體使用方法參考Hangout with Clickhouse