Spark学习三：Spark Schedule以及idea的安装和导入源码

标签（空格分隔）： Spark

• Spark学习三Spark Schedule以及idea的安装和导入源码
  • 一RDD操作过程中的数据位置
  • 二Spark Schedule
  • 三Idea导入spark源码

一，RDD操作过程中的数据位置

[hadoop001@xingyunfei001 spark-1.3.0-bin-2.5.0]$ bin/spark-shell --master local[2]

val rdd = sc.textFile(“xx”, 2)

rdd.flatMap(.split(“\t”)).map((, 1)).reduceByKey((_ + _)).saveAsTextFile

Stage-01

part-01 -> Task-01 : rdd.flatMap(.split(“\t”)).map((, 1)).reduce

part-02 -> Task-02 ：rdd.flatMap(.split(“\t”)).map((, 1)).reduce

Stage-02

part-01 -> Task-01 ：ByKey((_ + _)).saveAsTextFile

part-02 -> Task-02 ：ByKey((_ + _)).saveAsTextFile

rdd.cache

二，Spark Schedule

三，Idea导入spark源码

1，bin/idea.sh打开idea（进入时进度条点击取消）

2，集成maven

3,导入源代码