Hive统一元数据管理

从E-MapReduce-2.4.0(以下简称 EMR) 版本开始,E-MapReduce支持了统一数据管理,在E-MapReduce-2.4.0版本之前,用户所有集群均采用的是集群本地的mysql数据库作为Hive数据库,在E-MapReduce-2.4.0版本以及之后的版本中, E-MapReduce 会支持统一的高可靠的 Hive数据库

介绍

Hive统一元数据管理

统一的元数据管理,可以实现:

  • 持久化的元数据存储
    之前元数据都是在集群内部的mysql数据库,元数据会随着集群的释放而丢失,特别是EMR提供了灵活按量模式,集群可以按需创建用完就释放。如果用户需要保留现有的元数据信息,必须登录集群手动将元数据信息导出。支持统一的元数据管理之后,不再存在该问题。
  • 更方便地实现计算存储分离
    EMR上可以支持将数据存放在阿里云OSS中,在大数据量的情况下将数