从E-MapReduce-2.4.0(以下简称 EMR) 版本开始,E-MapReduce支持了统一元数据管理,在E-MapReduce-2.4.0版本之前,用户所有集群均采用的是集群本地的mysql数据库作为Hive元数据库,在E-MapReduce-2.4.0版本以及之后的版本中, E-MapReduce 会支持统一的高可靠的 Hive元数据库。
介绍
统一的元数据管理,可以实现:
-
持久化的元数据存储。
之前元数据都是在集群内部的mysql数据库,元数据会随着集群的释放而丢失,特别是EMR提供了灵活按量模式,集群可以按需创建用完就释放。如果用户需要保留现有的元数据信息,必须登录集群手动将元数据信息导出。支持统一的元数据管理之后,不再存在该问题。 -
更方便地实现计算存储分离。
EMR上可以支持将数据存放在阿里云OSS中,在大数据量的情况下将数
发表评论