Spark1 上下文

並行化,在driver中

SparkConf conf =  new SparkConf().setAppName("AppName").setMaster("masterIP");
JavaSparkContext sc = new JavaSparkContext(conf);
//SparkContext sc = new SparkContext(conf);

sc.parallelize(本地集合);//本地集合並行化
//sc.parallelizePairs(本地集合);

JavaPairRDD與JavaRDD區別
JavaRDD面向實體,而JavaPairRDD針對鍵值對

sc.close();
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章