Spark SQL讀取MySQL數據寫入Kudu

（1）pom文件中加入Spark Kudu相關依賴

<dependency>
    <groupId>org.apache.kudu</groupId>
    <artifactId>kudu-spark2_2.11</artifactId>
    <version>1.7.0</version>
</dependency>

（2）編寫代碼

object SparkKuduApp {
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkSession.builder().master("local").appName("SparkKuduApp").getOrCreate()
    // 讀取MySQL數據
    val jdbcDF = spark.read
      .format("jdbc")
      .option("url", "jdbc:mysql://hadoop000:3306")
      .option("dbtable", "spark_project.wc")
      .option("user", "root")
      .option("password", "root")
      .load()
    val KUDU_MASTERS = "hadoop000"
    
    // 將數據過濾後寫入Kudu
    jdbcDF.filter("cnt > 11")
      .write
      .mode(SaveMode.Append) // 只支持Append模式 鍵相同的會自動覆蓋
      .format("org.apache.kudu.spark.kudu")
      .option("kudu.master", KUDU_MASTERS)
      .option("kudu.table", "pk")
      .save()

    // 讀取寫入的數據
    spark.read.format("org.apache.kudu.spark.kudu")
      .option("kudu.master", KUDU_MASTERS)
      .option("kudu.table", "pk")
      .load().show()
  }

注意：
需要事先在Kudu中創建對應的表，並且保證MySQL表的Schema信息和Kudu表的Schema信息一致