有赞 Flink 实时任务资源优化探索与实践

简介: 目前有赞实时计算平台对于 Flink 任务资源优化探索已经走出第一步。

随着 Flink K8s 化以及实时集群迁移完成,有赞越来越多的 Flink 实时任务运行在 K8s 集群上,Flink K8s 化提升了实时集群在大阿里云优惠券怎么使用促时弹性扩缩阿里云双十一2019容能力,更好的降低大促期间机器扩缩容的成本。同时,由于 K8s 在公司内部有专门阿里巴巴双十一有优惠吗的团队进行维护, Flink K8s 化也能够更好的减低公司的运维成本。

不过当前 Flink K8s 任务资源是用户在实时平台端进行配置,用户本身对于实时任务具体配置多少资源经验较少,所以存在用户资源配置较多,但实际使用不到的情形。比如一个 Flin阿里云双十一活动k 任务实际上 4 个并发能够满足业务阿里云双十一2019处理需求,结果用户配置了 16 个并发,这种情况会导致实时计算资源的浪费,从而对于实时集群资源水位以及底层机器成本,都有一定影响。基于这样的背景,本文从 Flink 任务内存以及消息能力处理方面,对 Flink 任务资源优化进行探索与实践。

一、Flink 计算资源类型与阿里云双十一优化思路

1.1 Flink 计算资源类型

一个 Flink 任务的运行,所需要的资源我认为能够分为 5双十一阿里云有优惠吗 类:

  1. 内存资源
  2. 本地磁盘(或云盘)存储阿里巴巴双十一市场活动
  3. 依赖的外部存储资阿里云服务器能干嘛源。比如 HDFS、S3 等(任务状态/数据),云服务器双11活动HBase、My阿里云双11活动SQL、Redis 等(数据)
  4. CPU 资源
  5. 网卡资源

[图片上传失败...(image阿里云ecs续费优惠券-40f9ee-1614217697975)]

目前 Flink 任务使用最主要的还是内存和 CPU 资源,本地磁盘、依赖的外部存储资源以及网卡资源一般都阿里云优惠券最新领取不会是瓶颈,所以本文我们是从 Flink 任务的内存和 CPU 资源,两个方面来对 Flink 实时任务资源进行优化。

1.2 Flink 实时任务资源优化思路

对于 Flink 实时任务资源分析思路,我们认为主要包含两点:

  • 一是从任务内存视角,从堆内存方面对实时任务进行分析。
  • 另一方面则是从实时任务消息处理能力入手,保证满足业务方数据处理需求的同时,尽可能合理使用 CPU 资源。

之后再结合实时任务内存分析所得相关指标、实时阿里云双十一活动任务并发度的合理性,得出一个实时任务资源预设值,在和业务方充分沟通后,调整实时任务资源,最终达到实时任务资源阿里云双十一活动配置合理化的目的,从而更阿里云双十一好的降低机器使用成本。

■ 1.2.1 任务内存视角

那么如何分析 Flink 任务的堆内存阿里云双11续费呢?这里我们是结合 Fl双十一阿里云有优惠吗ink 任务 GC 日志来进行分析。GC 日志包含了每次 GC 堆内不同区域阿里云几折优惠内存的变化和使用情况。同时根据 GC 日志,也能够获取到一个 Task阿里云双十一活动2018manager 每次 Full GC 后,老年代剩余空间大小。可以说,获取实时任务的 GC 日志,使我们进行实时任务内存分析的前提。

GC 日志内容分析,这里我们借助开源的 GC Viewer 工具来进行具体分析,每次分析完,我们能够获取到 GC 相关指标,下面是通过 GC Viewer 分析一次 GC 日志阿里云服务器拼团活动的部分结果:

有赞 Flink 实时任务资源优化探索与实践

上面通过 GC 日志分析出单个 Flink Tas阿里云双11活动kmanager 堆总阿里云服务器双11活动大小、年轻代、老阿里云双十一2020年代分配的内存空间、Full GC 后老年代剩余大小等阿里云几折优惠,当然还有很多其他指标,相关指标定义可以去 Github 具体查看。

这里最重要的还是Full GC阿里云代金券阿里云优惠 后老年代剩余大小这个指标,按照《Java 性能优化权威指南》这本书 Ja阿里云几折优惠va 堆大小计算法则,设 Full G阿里云双十一C 后老年代剩余大小空间为 M,那么阿里云双十一堆的大小建议 3 ~ 4倍 M,新生代为 1 ~ 1.5 倍 M,老年代应为 2 ~阿里云服务器拼团活动 3 倍 M,当然,真实对内存配置,你可以按照实际情况,将相应比例再调双11阿里云大些,用以防止流量暴涨情形。

所以通过 Flink 任务的 GC 日志,我们可以计算出实时任务推荐的堆内存总大小,当发现推荐的堆内存阿里云双十一活动拼团和实际实时任务的堆内存大小相差过大时,我们就认为能够去降低业务方实时任务的内存配置,从而降低阿里巴巴双十一市场活动机器内存资源的使用。

■ 1.2.2 任务消息处理能力视角

对于 Flink 任务消息处理能力分析,我们主要是看实时任务消费的数据源单位时间的输入,和实时任务各个 Operator / Task 消息处理能力是否匹配。Operator 是 Flink 任务的一个算子,Task 则阿里双11数据是一个或者多个算子 Chain 起来后,一起执行的物理载体。

数据源我们内部一般使用 Kafka,Kafka Topic 的单位时间输入可以通过调用 Kafka Broker JMX 指标接口进行获取,当然你也可以调用 Flink Rest Monitoring 相关 API 获取实时任务所有 Ka阿里云双十一活动2018fka Source Task 单位时间输入,然后相加即可。不过由于反压可能会对 Source 端的输入有影响,这里我们是直接使用 Kafka Broker 指标 JMX 接口获取 Kafka Topic 单位时间输入。

在获取到实时任务 Kafka Topic 单位时间输入后,下面就是判断实时任务的消息处理能力是否与数据源输入匹配。一个实时任务整体的消息处理能力,会受到处阿里云双11活动理最慢的 Operato阿里巴巴双十一活动目的r / Task 的影响。打个比方,Flink 任务消费阿里云服务器双11活动的 Kafka Topic 输入为 20000 Record / S,但是有一个 Map 算子,其并发度为 10 ,Map 算子中业务方调用双11阿里云了 Dubbo,一个 Dubbo 接口从请求到返回为 1阿里云双十一活动拼团0 ms,那么 Map 算子处理能力 1000 Record / S (1000 ms / 10 ms * 10 ),从而实时任务处理能力会下降为 1000 Record / S。

由于一条消息记录的处理会在一个 Task 内部流转,所以我们试图找出一个实时任务中,2018双11活动处理最慢的 Task 逻辑。如果 Sourc阿里云双十一e 端到 Sink 端全部 Chai阿里云n 起来的话,我们则是会找出处理最慢的 Operator 的逻辑。在源码层,我们针对 Flink Task 以及 Operator 增加了单条记录处理时间的自定义 Metric,之后该 Metric 可以通过 Flink R阿里云服务器拼团est API 获取。我们会遍历一个 Flink 任务中所有的 Task , 查询处理最慢的 Task 所在的 JobVertex(JobGraph 的点),然阿里云优惠服务器后获取到该 J阿里云双十一活动攻略obVertex 所有 Task 的总输出,最阿里云服务器双十一特惠终会和 Kafka Topic 单位时间输入进行比对,判断实时任务消息处理能力是否合理。

设实时任务 Kafka Topic 单位时间的输入为 S,处理最慢的 Task 代表的 JobVertex 的并发度阿里巴巴双十一活动目的为 P,处理最阿里云双11优惠慢的 Task 所在的 JobVertex 单位阿里云服务器活动时间输出阿里云双十一活动为 O,处理最慢的 Task 的最大消息处理时间为 T,那么通过下面阿里云双十一优惠逻辑进行分析:

  1. 当 O 约等于 S,且 1 second / T *阿里巴巴双十一市场活动 P 远大于 S 时,会考虑减小任务并发度。
  2. 当 O 约等阿里云续费优惠券于 S,且 1 second / T *阿里双11数据 P 约等于 S 时,不考虑调整任务并发度。
  3. 当 O 远小于 S,且 1 second / T * P 远小于 S 时,会考虑增加任务并发度。

目前主要是 1 这种情况在阿里双11现在交易额 CPU 使用方面不合理,当然,由于不同时间段,实时任务的流量不同,所以我们会有一个周期性检测的的任务,如果检测到某个实时任务连续多次都符合 1 这种情况时,会自动报警提示平台管理员进行资源优化调整。
下图是从 Flink 任务的内存以及消息处理能力两个视角分析资源逻辑图:

[图片上传失败...(image-b93bd6-1614217697975)]

二、从内存视角对 Flink 分析实践

2.1 Flink 任务垃圾回收器选择

Flin阿里巴巴双十一活动目的k 任务本质还是一个 Java 任务,所以也就会涉阿里双11现在交易额及到垃圾回收器的选择。选择垃圾回收器一般需要从两个角度进行参考:

  1. 吞吐量,即单位时间内,任务执行时间 / (任务执行时间 + 垃圾回收时间),当然并不是说降低 GC 停顿时间就能提升吞吐阿里云双十一活动2018量,因为降低 GC 停顿时间,你的 GC 次数也会上升。
  2. 延迟。如果你的 Java 程序涉及到与外阿里云双十一部交互,延迟会影响外部的请求使用体验。

Flink 任务我认为还是偏重吞吐量的一类 Java 任务,所以会从吞吐量角度进行更多的考量。当然并不是说完全不考虑延迟,毕竟 JobManager、TaskManager、ResourceManager 之阿里云双十一活动拼团间存在心跳,延迟过大,可能会有心跳超时的可能性。

目前阿里云双十一活动地址我们 JDK 版本为内部 J阿里云优惠券怎么使用DK 1.8 版本,新生代垃圾回收器使用 Parallel Scavenge,那么老年代垃圾回收器只能从 Serial Old 或者 Par阿里云双十一2019allel Old 中选择。由于我们 Flink k8s 任务每个 Pod 的 CPU 限制为 0.6 - 1 core ,最大也只能使用 1 个 core,所以老年代的垃圾回收器我们使用的是 Serial Old ,多线程垃圾回收在单 Core 之间,可能会有线程切换的消耗。

2.2 实时任务 GC 日志获取

设置完垃圾回收器后,下一步就是获取 Flink 任务阿里云双十一活动拼团的 GC 日志。Flink 任务构成一般是单个 JobManager + 多个 TaskManger ,这里需要获取到 TaskManager 的 GC 日志进行分析。那是不是要对所双11阿里云有 TaskManager 进行获取呢。这里我们按照 TaskManage阿里云代金券r 的 Yo阿里云服务器双11活动ung GC 次数,按照次数大小进行排序,取排名前 16 的 TaskManager 进行分析双11活动阿里云的作用。YoungGC 次数可以通过 Flink Res阿里双11数据t API 进行获取。

Flink on Yarn 实时任务的 GC 日志,直接点开 TaskManager 的日志链阿里巴巴双十一营销活动接就能够看到,然后通过 HTTP 访问,就能下载到本地。Flink On k8s 任务的 GC 日志,会先写到 Pod 所挂载的云盘,基于 k8s hostpath volume 进行挂载。我阿里云们内部使用 Filebeat 进行日志文件变更监听和采集,最终输出到下游的 Kafka Topi阿里云服务器双11活动c。我们内部会有自定义日志服务端,它会消费 Kafk云服务器双11活动a 的日志记录,自动进行落盘和管阿里云双11活动2020理,同时向外提供日志下载接口。通过日志下载的接口,便能够下载到需要分析的 TaskManager2019双11阿里销售额是多少 的 GC 日志。

2.3 基于 GC Viewer 分析 Flink 任务内阿里双十一数据

G阿里巴巴双十一营销活动C Viewer 是一个开源的 GC 日志分析工具。使用 GC Viewer 之前,需要先把阿里云双十一活动2018 GC V阿里云优惠券iewer 项目代码 clone 到本地,然后进行编译打包,就可以使用其功能。

有赞 Flink 实时任务资源优化探索与实践

在对一个实时任务堆内存进行分析时,先把 Flink TaskManager 的日志下载到本地,然后通过 GC Viewer 对日志进行阿里云双十一服务器如果你觉得多个 Taskmanager GC 日志分析较慢时,可以使用多线程。上面所有这些操作,可以将其代码化阿里云双十一2020,自动化产出分析结果双11活动阿里云的作用。下面是通过 GC阿里云服务器能干嘛 Viewer 分析的命令行:

java -jar gcview阿里云服务器双11活动er-1.37-SNAPSHOT.jar gc.log summary.csv

上面参数 gc.log 表示一个 Taskmanager 的 GC 日志文件名称,summary.csv 表示日志分析的结果。下阿里云优惠购买面是我们平台对于某个实时阿里云双十一任务内存分析的结果:

有赞 Flink 实时任务资源优化探索与实践

下面是上面截图阿里巴巴双十一营销活动中,部分参数说明:

  1. RunHours阿里云双十一活动拼团,F阿里云优惠link 任务运行小时数
  2. YGSize,一个 TaskManager 新阿里云优惠活动生代堆内存最大分配量,单位兆
  3. YGUsePC,一阿里巴巴双十一营销活动个 TaskManager 新生代堆最大使用率
  4. OGSize,一个 TaskManager 老年代堆内存最大分配量,单位兆
  5. OGUsePC,一个 TaskManager 老生阿里云双十一优惠代堆最大使用率
  6. YGCoun,一个 TaskMnager Young GC 次阿里云双十一
  7. YGPerTime,一个 TaskMnager Young GC 每次停顿时间,单位秒
  8. FGCount,一个 TaskMnager Full GC 次数
  9. FGAllTime,一个 TaskMnager Full GC 总阿里云优惠券领取时间,单位阿里云和双十一有什么关系
  10. Throu今年双十一京东与阿里ght,Task Manager 吞吐量阿里双11现在交易额
  11. AVG PT(阿里云优惠服务器分析结果 avgPr阿里云服务器代金券领取omotion 参数),平均每次 Young GC 晋升到老年代的对象大小阿里双11数据
  12. Rec Heap,推荐的堆大小
  13. RecNewHeap,推荐的新生代堆大小
  14. RecOldHeap,推荐的老年代堆大小

上述大部分内存分析结果,通过 GC Viewer 分析都阿里云优惠券领取能得到,不过推荐堆大小、推荐新生代堆大小、推荐老年代堆大小则是根据 1.2.1 小节的内存优化规则来设置。

三、从消息处理视角对 Flink 分析实践

3.1 实时任务 Kafka Topic 单位时间阿里云双11活动输入获取

想要对 Flink 任务的消息处理能力进行分阿里双11数据析,第一步便是获取该实时任务的 Kafka 数据源 Topic,目前如果数据源不是 Kafka云服务器优惠活动 的话,我们不阿里云双11优惠会进行分析。Flink 任务总体分为两类:Flink Jar 任务和 Flink SQL 任务。Flink SQL 任务阿里云双十一获取 Kafka 数据源比较简单,直接解析 Flink SQL 代码,然后获取到 With 后面的参数,在过滤掉 Sink 表之后,阿里云双十一活动攻略如果 SQ阿里云LCre阿里双11现在交易额ateTable 的 Cone阿里云双十一活动拼团ctor 类型为 Kaf阿里云和双十一有什么关系ka,就能够阿里云优惠券领取通过 SQLCreateTabl阿里云优惠e with 后的参数,拿到具体 Kafka Topic。

Flink Jar 任务的 Kafka Topic 数据源获取相对繁琐一些,我们内部有一个实时任务血缘解阿里双11数据析服务,通过对 Flink Jar 任务自动构建其 PackagedProgram,PackagedProgram 是 Flink 内部的一阿里云双十一优惠个类,然后通过 PackagedProgram ,我们可以获取一个 Flink Jar 任务的 StreamGraph,StreamGraph 里阿里云双十一活动拼团面有阿里云双十一红包 Source 和 Sink 的所有 Str阿里云双十一eamNo阿里云代金券阿里云优惠券de,通过反射,我们可以获取 StreamNode 里面具体的 Source Functi阿里活动推荐on,如果是 Kafka Source Sunction,我们就会获取其 Kafka Topic。下面是 StreamGraph 类截图阿里云服务器双11活动

有赞 Flink 实时任务资源优化探索与实践

获取到 Flink 任阿里云双十一活动拼团务的 Kafka Topic 数据源之后,下一步便是获取该 Topic 单位时间输入的消息记录数,这里可以通过 Kafka Broker JMX Metric 接口获取,我们则是通过内部阿里云双十一 Kafka 管理平台提供的外部接口进行获取。

3.2 自动化检测 Flink 消息处理最慢 Task

首先,我们在源码层增加了 Flink Task 单条记录处理时间的 Met阿里云优惠券领取ric,这个 Metric 可以通过 Fli阿里云优惠口令nk Rest API 获取。接下来就是借助 Flink Rest API,遍历要分析的 Flink 任务的所有的 Task。Flink Rest Api 有这样一2018双11活动个接口:

base_flink_web_ui_url/jobs/:jobid

这个接口能够获取一个任务的所有 Vertexs,一个 Vertex 可以简单理解为 Flink 任务 JobGraph 里面的一个 JobVertex。JobVertex 代表着实时任务中一段执行逻辑。

有赞 Flink 实时任务资源优化探索与实践

获取完 Flink 任务所有的 Vertex 之后,接下来就是获取每个 Vertex 具体 Task 处理单条记录的 metric,可以使用下面的接口:

[图片上传失败...(ima阿里巴巴双十一营销活动ge-864e41-1614217697974)]

需要阿里云双11活动在上述 Rest API 链接 metrics 之后添加 ?get=(具体meitric ),比如:metrics?get=0.Filter.numRecordsOut,0 表示该 Vertex Task 的 id,Filter.numRecordsOut 则表示具体的指标名称。我们内部使用 taskOneRecordDealTime 表示Task 处理阿里云双十一2020单条记录时间 Metr阿里云双十一优惠活动ic,然后用 0.taskOneRecordDealTi阿里云双十一活动me 去获取某阿里云双十一活动拼团个 Task 的单条记录处理时间的指标。上面接口支持多个指标查询,即 get 后面使用逗号隔开即可。

最终自动化检测 Flink 消息处理最慢 Task 整体步骤如下:

  1. 获取一个阿里云双11实时任务所有的 Vertexs
  2. 遍历每个 Vert阿里云ex,然后获取这个 Vertex 所有并发度 Task 的 taskOneRecordDealTime,并且阿里云双十一活动拼团记录其最大值
  3. 所有 Vertex 单条记录处理 Metric 最大值进行对比,找出处理时间最慢的 Vertex。

下面是我们实时平台对于一个 Flink 实时任务分析阿里云双十一2019的结果:

有赞 Flink 实时任务资源优化探索与实践

四、有赞 Flink 实时任务资源优化实践

既然 Flink 任务的内存以及消息处理能力分析的方式已经有了,那接下来就是在实时平台端进行具体实践。我们实时平台每天会定时扫阿里云双11描所推广阿里云双十一赚10万有正在运行的 Flink 任务,在任务内存方面,我们能够2019双11阿里销售额是多少结合 实时任务 GC 日志,同时根据内存优化规则,计算出 Flink 任务推荐的堆内存大小,并与实际分配的 Flink 任务的堆内存进行比较,如果两者相差的倍数过大时,我们认为 Flink 任务的内存配置存在浪费的情阿里活动推荐况,接下来我们会报警提示到平台管理员进行优化。

平台管理员再收到报警提示后,同时也会判定阿里巴巴双十一市场活动实时任务消息能力是否合理,如果消息处理最慢阿里云服务器优惠券的 Vertex (某段实时逻辑),其所有 Task 单位时间处2019双11阿里销售额是多少理消息记录阿里云数的总和约等于实时任务消费的 Kafka Topic 单位时间的输入,但通过 Vertex 的并发度,以及单条消息处理 Metric ,算出该 Vertex 单位时间处理的消息记录数远大于 Kafka Topic 的单位输入时,则认为 Flink 任务可以适当调小并发度。具体调整多少,会和业务方沟通之后,在进行调整。整体 Flink 任务资源优化操作流程如下:

有赞 Flink 实时任务资源优化探索与实践

五、总结

目前有赞实时计算平台对于 Flink 任务资源优化探索已经走出第阿里云双十一一步。通过自动化发现能够优化的实时任务,然后平台阿里云代金券管理员介入分云服务器双11活动析,最终判断是否能够调整 Flink 任务的资源阿里云双十一活动。在整个实时任务资源优化的链路中,目前还是不够自动化,因为在阿里云双十一卡住了吗后半段还需要人为因素。未来我们计划 Flink 任务资源的优化全部自动化,会结合实时阿里云双十一红包任务历史不同时段的资源使用情况,自动化推测和调整实时任务的资源配置,从而达到提升整个实时集群资源利用率的目的。

同时未来也会和元数据平台的同学进行合作,一起从更多方面来分析实时任务是否存在资源优化的可能性,他们在原来离线任务资源方面积攒了很多优化经验,未来也可以参考和借鉴,阿里云双十一活动应用到实时任务资源的优化中。

当然,最理想化就是2019双11阿里销售额是多少实时任务的资源使用能够自己自动弹性扩缩容,之前听到过社区同学有这方阿里云几折优惠面的声音,同时也欢迎你能够和我一起探讨。

作者:沈磊