上篇：第 25 節 Flink 並行度詳解(Parallel)
1、Kafka-connector
- Kafka中的partition機制和Flink的並行度機制深度結合
- Kafka可以作爲Flink的source和sink
- 任務失敗，通過設置kafka的offset來恢復應用
Kafka Consumer消費策略設置
2、Kafka Consumer的容錯
- 當checkpoint機制開啓的時候，Kafka Consumer會定期把kafka的offset信息還有其他operator的狀態信息一塊保存起來。當job失敗重啓的時候，Flink會從最近一次的checkpoint中進行恢復數據，重新消費kafka中的數據。
- 爲了能夠使用支持容錯的kafka Consumer，需要開啓checkpoint
env.enableCheckpointing(5000); // 每5s checkpoint一次
動態加載Topic
3、Kafka Consumers Offset 自動提交
Kafka Producer
4、Kafka Producer的容錯-Kafka 0.9 and 0.10
5、Flink 生產環境主要配置
生產環境檢查清單
