NiFi 示例將 MySQL 中數據導出並轉換爲 JSON 發送到 Kafka

1. 添加 ExecuteSQL 處理器

   1. 添加 ExecuteSQL 到面板

   2. 配置 ExecuteSQL

   3. 配置 DBCPConnectionPool

      更改 DBCPConnectionPool 配置，直到將 state 從 Invalid 變爲 Disable
      

      數據庫連接池配置信息
      

      啓用 DBCPConnectionPool
      

   4. 任務成功或失敗時的處理方式

      
      .

2. 添加 ConvertAvroToJSON 處理器

   添加 ConvertAvroToJSON 到面板，無需修改任何配置
   

3. 添加 PublishKafka 處理器

   1. 添加 PublishKafka_0_10 到面板

   2. 配置 PublishKafka_0_10

      1. PLAINTEXT
         

      2. SSL

      3. SASL_SSL

         連接阿里雲 kafka 配置
         

         注意:

         1. 修改 ${NIFi_HOME}/conf/bootstrap.conf 配置文件中 java.arg.16 ，然後重啓 NiFi 服務。

            [root@cdh01 nifi-1.10.0]$ cat conf/bootstrap.conf | grep java.arg.16
            #java.arg.16=-Djavax.security.auth.useSubjectCredsOnly=true      # 默認
            java.arg.16=-Djava.security.auth.login.config=/root/kafka_conf/kafka_client_jaas.conf
            [root@cdh01 nifi-1.10.0]$ cat /root/kafka_conf/kafka_client_jaas.conf
            KafkaClient {
              org.apache.kafka.common.security.plain.PlainLoginModule required
              username="123456"
              password="123456";
            };
            

         2. 增加 sasl.mechanism 配置
            

   3. 配置 StandardSSLContextService

      提示: PLAINTEXT 無需配置此項

      更改 StandardSSLContextService 配置，直到將 state 從 Invalid 變爲 Disable
      
      配置 StandardSSLContextService
      如無 Keystore 則不用配置 Keystore 相關屬性
      

      啓用 StandardSSLContextService
      

4. 連接處理器

5. 啓動處理器