RDD的轉換
RDD整體上分爲Value類型和Key-Value類型
map(func)案例
- 作用:返回一個新的RDD,該RDD由每一個輸入元素經過func函數轉換後組成
- 需求:創建一個1-10數組的RDD,將所有元素*2形成新的RDD
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object Spark22 extends App {
val config: SparkConf = new SparkConf().setMaster("local[1]").setAppName("WordCount")
val sc = new SparkContext(config)
private val listRDD: RDD[Int] = sc.makeRDD(1 to 10)
private val mapRDD: RDD[Int] = listRDD.map(x => x * 2)
mapRDD.collect().foreach(println)
}
2
4
6
8
10
12
14
16
18
20