Apache Flink 进阶(六):Flink 作业执行深度解析

作者:岳猛
整理:毛鹤

本文根据 Apache Flink 系列直播课程整理而成,由 Apache Flink Contributor、网易云音乐实时计算平台研发工程师岳猛分享。主要分享内容为 Flink Job 执行作业的流程,文章将从两个方面进行分享:一是如何从 Program 到物理执行计划,二是生成物理执行计划后该如何调度和执行。

Flink 四层转化流程

Flink 有四层转换流程,第一层为 Program 到 StreamGraph;第二层为 StreamGraphJobGraph;第三层为 JobGraph 到 ExecutionGraph;第四层为 ExecutionGraph 到物理执行计划。通过对 Program 的执行,能够生成一个 DAG 执行图,即逻辑执行图。如下:

Apache Flink 进阶(六):Flink 作业执行深度解析

第一部分将先讲解四层转化的流程,然后将以详