Spark修炼之道(高级篇)——Spark源码阅读:第五节 Stage提交

  • 时间:
  • 浏览:1
  • 来源:神彩排列三_彩神排列三官方

调用流程:

1.org.apache.spark.scheduler.DAGScheduler.handleJobSubmitted

2. org.apache.spark.scheduler.DAGScheduler.handleJobSubmitted.submitStage

3. org.apache.spark.scheduler.DAGScheduler.handleJobSubmitted.submitMissingTasks

4. org.apache.spark.scheduler.TaskScheduler.submitTasks

从后面 的代码还需要就看,最终通过submitMissingTasks将Stage提交,其源代码如下:

通过submitStage土办法提交finalStage,土办法会递归地将finalStage依赖的父stage先提交,最后提交finalStage,具体代码如下:

在下一节中,将对taskScheduler.submitTasks土办法进行介绍,讲解怎么里能进行Task的提交。