spark編程模型（九）之RDD基礎轉換操作（Transformation Operation）——mapPartitions、mapPartitionsWithIndex

mapPartitions():

• def mapPartitions[U](f: (Iterator[T]) => Iterator[U], preservesPartitioning: Boolean = false)(implicit arg0: ClassTag[U]): RDD[U]

• 該函數和map函數類似，只不過映射函數的參數由RDD中的每一個元素變成了RDD中每一個分區的迭代器。如果在映射的過程中需要頻繁創建額外的對象，使用mapPartitions要比map高效

• 比如，將RDD中的所有數據通過JDBC連接寫入數據庫，如果使用map函數，可能要爲每一個元素都創建一個connection，這樣開銷很大，如果使用mapPartitions，那麼只需要針對每一個分區建立一個connection

• 參數preservesPartitioning表示是否保留父RDD的partitioner分區信息

  var rdd1 = sc.makeRDD(1 to 5,2)
  
  //rdd1有兩個分區
  scala> var rdd3 = rdd1.mapPartitions{ x => {
       | var result = List[Int]()
       |     var i = 0
       |     while(x.hasNext){
       |       i += x.next()
       |     }
       |     result.::(i).iterator
       | }}
  rdd3: org.apache.spark.rdd.RDD[Int] = MapPartitionsRDD[84] at mapPartitions at :23
  
  //rdd3將rdd1中每個分區中的數值累加
  scala> rdd3.collect
  res65: Array[Int] = Array(3, 12)
  
  scala> rdd3.partitions.size
  res66: Int = 2
  

mapPartitionsWithIndex():

• def mapPartitionsWithIndex[U](f: (Int, Iterator[T]) => Iterator[U], preservesPartitioning: Boolean = false)(implicit arg0: ClassTag[U]): RDD[U]

• 函數作用同mapPartitions，不過提供了兩個參數，第一個參數爲分區的索引

  var rdd1 = sc.makeRDD(1 to 5,2)
  
  //rdd1有兩個分區
  var rdd2 = rdd1.mapPartitionsWithIndex{
          (x,iter) => {
            var result = List[String]()
              var i = 0
              while(iter.hasNext){
                i += iter.next()
              }
              result.::(x + "|" + i).iterator
  
          }
        }
  
  //rdd2將rdd1中每個分區的數字累加，並在每個分區的累加結果前面加了分區索引
  scala> rdd2.collect
  res13: Array[String] = Array(0|3, 1|12)