【科学脱口秀】EB级核算渠道调度体系 “愚公” : 完成跨地域的数据和核算调度

宓羲(Fuxi)是十年前开始创建飞天渠道时的三大服务之一(散布式存储 Pangu,散布式核算 MaxCompute,散布式调度 Fuxi),其时的规划初衷是为了处理大规模散布式资源的调度问题(本质上是多目标的最优匹配问题)。

随阿里经济体和阿里云丰厚的事务需求(尤其是双十一)和锻炼,宓羲的内在不断扩大,从单一的资源调度器(对标开源体系的YARN)扩展成大数据中心调度服务,掩盖数据调度(Data Placement)、资源调度(Resouce Management)、核算调度(Application Manager)、和本地微(自治)调度等多个范畴,并在每一个细分范畴致力于打造逾越业界干流的差异化才能。

MaxCompute作为阿里经济体的大数据核算渠道,每天运转着数以千万计的作业,处理EB等级的数据,这些作业和数据散布在全球各个数据中心的不同集群,当作业运转和输入数据不在同一个集群中时,称之为跨集群数据依靠。跟着MaxCompute事务的高速开展,跨集群依靠量也急速增加。杂乱的事务依靠联系不可避免的会发生很多的跨数据中心的网络传输,而跨数据中心的网络具有带宽小,推迟高,稳定性低的特色,而且价格还贵。怎么平衡各集群的核算和存储利用率,下降带宽本钱,成为了亟待处理的一个难题。

这次咱们不再给你万字长文,而是请到了“愚公”体系的两位首要技能负责人,以脱口秀方法,为我们介绍阿里巴巴MaxCompute团队关于多集群数据和核算调度最优处理方案的探究和阶段性效果。

技能人的脱口秀来啦~~~

【科学脱口秀】EB级核算渠道调度体系 “愚公” : 完成跨地域的数据和核算调度

【科学脱口秀】EB级核算渠道调度体系 “愚公” : 完成跨地域的数据和核算调度

【科学脱口秀】EB级核算渠道调度体系 “愚公” : 完成跨地域的数据和核算调度
【科学脱口秀】EB级核算渠道调度体系 “愚公” : 完成跨地域的数据和核算调度

想了解更多?
欢迎参加 MaxCompute开发者社区钉钉群,与更多阿里巴巴大数据技能专家和大数据开发者一起沟通
【科学脱口秀】EB级核算渠道调度体系 “愚公” : 完成跨地域的数据和核算调度