如何生成 Flink 作业的交互式火焰图?

简介:Flink 是目前最流行的大ps://www.fons.com.cn/tag/%e6%95%b0%e6%8d%ae" target="_blank">数据及流式计算框架之一,用户可以使用 Java/Scala/Python 的 DataStream 接口或者标准 SQL 语言来快速实现一个分布式高可用的流式应用,通过内部的 Java{ N J ( b JIT、off-heap 内存管理等技术优k W 9化性能,并且有完整的 Source、Sink、WebUI、Metrics 等功能集成,让 Flink 几乎成为了流式计算的事实标准。

前言

FlT ` K ? 4 L 6 q 8ink 是目前最流行的大数据及流式计算框架之一,用户可以使用 Java/Scala/Python 的 DataStream 接口或者标准 SQL 语言来快速实现一个分布式高可用的流式应用,通过内部的 Java JITe O = ) e { u、off-h^ w k 5eap 内存管理等技术优化性能b E V + C a G N j,并且有完整的 Source、Sink、WQ [ pebUI、Metrics 等功能集成,让 Flink 几@ T ( 5 d J X乎成为了流式计算的事实标准。

但是当处理海量数据的时候,很容易出现各种异常和性能瓶颈,这时我们需要优化系统性能时,常常需要分析程序运行行为和性能瓶颈。Profiling 技术是一种在应用运行时收集程序相关信e S r 6 q |息的动态分析手段,常用的] X ] 6 n P L J. W 4VM Profiler 可以从多个方面对程序进行动态分析,如 CPU、Memory、Thread、Classes、GC 等,其中 CPU Profiling 的应用最为广泛。CPU Profiling 经常被用于分析代码的执g [ k行热点,如“哪个方法占用 CPU 的执行时间最长”、“每个方法占用 CPU 的比例. 9 Q { s ( Y是多少”等等,通过 CPU Profiling 得到上述相关信息后,研2 I S T发人员就可以轻松U ? c a O [ ? ? A针对热点瓶颈进行分析和性能优化,进而突破性能瓶颈P ` , L V k @ j,大幅提升系统的吞吐量。

本文介绍我们在做性能优化常用的火焰图以及为如何集g E R q 1 6 J M成火焰图到通用的 Flink 作业中。

火焰图介绍

火焰图是《性能之巅》作者以及 DTrS F U bace 等一系列 Linux 系6 # o S H 2 g t统优化工具作者 Brendan Gregg 大神的作品之一,可以非y z : & e / y W常清晰地展示应用程序的函数调用栈以及函数调用时间占比,基本原理是通过各种 agent 在程序运行时采样并输出日志,使用 FlameGraph 工具把日y 9 %志提取出来输出可在浏览器交互式查看的 SVG图片。

Uv : c y Zber 开源了 jvm-profiler 项目,介绍如何为 Spark 应用和 Java 应用添加火焰图支持,但是目前 Flink 社区和 jvm-profiler 官网都P # o C * O 7还没有相关的使用教程。

如何生成 Flink 作业的交互式火焰图?

实际上基于 JVM 的程序都可以使用这个工具,本文将基于 jvm-profiler 来介绍如何生成 Flink 作业的火焰图。

下载和编译 jvm-profiler

git clone git cloneA T J z % , : e ? https://github.com/uber-common/jvm-profiler.git

mvn clean? Z : q 4 install -DskipTests=true -Dcheckstyle.sW g Y m ekip -Dfast -T 8C

编译好了之后,将项目 target 目录下的 jvm-profi9 _ x j M 1 (ler-1.0.0.jar 复制一份到 flink 的 lib 目录下面。

cp target/j| ? + e Q 7 B [vm-profiler-1.| } v l 8 V i E0.0.jar /usr/local/flink-1.11.1/lib

下载 FlameGraph

由于 jvm-profiler 支持生成火焰图需要的日志文件,将日志转化成交互式 SVG 图片还是使用 Brendan Gregg 的Flax ! / ) 2 p dmeGr@ i Q ] I y naph 工具。

git clone https://github.com/brendangregg/FlameS : * ] sGraph.git

下载, w [ P项目源码即可,后面Q . 7 F m :会使用 flamegraph.pl 工具来生成图片文件。

配置 Flink

对于 Flink 应用,我们只需要在 TaskManager 中注入打点的 Java agent 即可,这里测试,我就使用本地 standalone 模式,- p O 0 g n修改 Flink conf 目录F ~ , ! L k F O X下的 flinF K m 9 R m B @ yk-conf.yaml 文件,添加一下如下配置:

env.ja0 C v q - _ R ;va.opts.taskmanager: "-javaagent:/usr/local/fla z T H G p 3 9 7ink-1.11.1/lib/jvm-p* 1 A &rofiler-1.0.0.jar=sampleInteF [ M c krval=50"

目前最小的采样间隔就是 50 毫秒,然后启动集群和x N f F = ` d运行一个 Flink 作业:

./bin/start-cl9 J d { %uster.sh

//运行一个作业

./bin/flink run ./examP S N Q 0 sples/stre 1 - H t = o -aming/StateMachineExaD r . 2 :mple.jar

运行x r t H之后可以看到 TaskManager 的 stdout 里面7 B 1 J 7 y打印如下:

如何生成 Flink 作业的交互式火焰图?

因为已经注入 Java agent,因此在标准输出中会定期添加火焰图所需要的打点数据,然后使用下面y J 3 K X [ y -的命令提取相关日志,并且使用 jvm-profij + ` , g pler 和 FlameGraph 提供的工具来生成 SVG 图片文件。

//1、提r t g ]取 stdout 文件中的相关日志

cat log/flink-zhisheng-taskexecutor-0-zhisheng.out | grep "ConsoleOutputReporter - Stack/ @ s o i $trace:" | awk '{print substrW B & p U($0,37)}C / l' > stacktrace.json

//2、在 jvm-profiler 目录下执行下面命令

python ./stackcollapse.py -i /usr/local/flink-1.11.1/stacktrace.json > stacktrace.folded

//3、在 FlameGraph 目录下执行下面命令( ! F +生成 SVG 图片

./flamegraph.pl /Users/zhisheng/Documents/github/jvQ _ =m-profiler/stacktrace.folded > stacktrace.svg

然后用浏a 3 l + : 览器打开刚才生成的 SY S /VG 图片就可以看o U U ~ I 8 4 6 1到火焰图信息。

如何生成 Flink 作业的交互式火焰图?

总结

本文主要目的在于教大家 3 ] w 2 # =如何利用 jvm-pT n s ; s 1 7 $ Jrofiler 去生成 Flink 作业的运行火焰图,这样可以在遇到性能瓶颈问题的时候会很方便大家去定位问题,关于如何去读懂生成的火焰图,后面可以再分享系列文章。

作者:田志声

k Q x 6 E ^文为阿里云原创内容,未经允许不得转载。