问题:
TableEnviroment在执行sql的时候如何设置sink的并行度?
思路:
tEnv.getConfig().addConfiguration(
new Configuration()
.set(CoreOptions.DEFAULT_PARALLELISM, 128)
);
参见文档:
https://ci.apache.org/projects/flink/flink-docs-stable/ops/config.html
但是这种方式是一个全局的配linux是什么操作系统置,并不能指定sink的并行度
由于现在的Flink
版本仅支持全局设置,并不支持对于单个sink并行度的设置。
对于单个sink的设置社区正在讨论中,见
https://www.mail-archive.com/dev@flink.apache.org/msg40251.html
所以我们可linux操作系统基础知识以这样来解决:
可以把sink 之前的table
转成datasjava模拟器tream
,然后改变全局的并行度,再dataStream.addSink(sink)
(由于这里会取全局并flink深入浅出行度并给算子html是什么意思设置),之后把全局并行度改回去。理论上这个方法可以为每个算子设置系统运维工作内容单独并行javascript百炼成仙度
发表评论