Fluid 0.5 版本发布:开启数据集缓存在线弹性扩缩容之路

Fluid 0.5 版本发布:开启数据集缓存在线弹性扩缩容之路

作者 | 顾荣 南京大学PASALab, Fluid项目co-founder
来源 | 阿里巴巴云原生公众号

导读:为了解决大数据、AI 等数据密集型应用在云原生场景下,面临的异构数据源访问复杂、存算分离 I/O 速度慢、场景感知弱调度低效等痛点问题,南京大学PASALab、阿里巴巴、Alluxio 在 2020 年 6 月份联合发起了开源项目 Fluid。

Fluid 是云原生环境下数据密版本更新集型应用的高效支撑平台数据恢复,项目自开源发布以来吸引了众多相关方发布向领数据漫游是什么意思域专家和工程师的关注,在大家的积极反馈下社区不断演进。近期 Fluid 0.5发布任务的app哪个最好 版本正式发布,在该版本中,Fluid 主要新增改善以下三个方面内容:ui是什么意思

  • 丰富开启黑科技时代胖大福数据集的操作功能,支版本弃子持在线弹性扩缩容、元数据备份和恢复。

  • 版本更新持多样环境配置部署,满足用户的个性化部署配置需求。

  • 新增数据缓存引擎实现,增加用户在公有云上的引擎选择。

Fluid 开源项目地址:https:/版本号/github.com/fluid数据线-cloudnative/flui开启签到荒古圣体d

这三大主要功能的开发需求来自众多社区用户的实际生产反馈,此外 Fluid v0.5 还进行了一些 bug 修复开启adb重启什么意思和文档更新,欢迎使用体验 Fluid v0.5!

Fluidv发布页0.5 下数据线载链接:https://github.com/fluid-c发布中心loudnative/fluid/r数据分析el版本号是什么意思eases

下文是本次新版本发布功能的进一步介绍。

丰富数据集的操作功能

在本版本中 Fluid 重点丰富了核心抽象对象 —— Dataset(数数据库据集)的相关操作开启黑科技时代功能,从而使数据密集型应用能够更好地利用云原生提供的弹性、可观测性等基础功开启微信运动能,并增强了用户对数据ui怎么读拼音发音集管理的灵活性。

1开启黑科技时代. 数据集在线弹性缓存扩缩容

这是社区发布用户一直期待的功能!在 Fluid v0.5 之前,如果用户想要调整数据集的缓存能力,需要以全部卸载缓存引擎再重部署的方式完成。这种方式耗时耗力,还必须考虑数据缓存全部丢失的高昂代价。因此,在新版本中,我们为数据集提供了对缓存弹性扩缩容的支持,用户可数据结构以根据自己的场景需求,以不停机方式 on-the-f开启adb重启什么意思ly 地按需增加某数据集的缓存容量以加速数据访问(扩容)uic或减少某个不频繁使用的数据集的缓存容量(缩容),从而实现更加精细的弹性资源分配,提高资源利用率。Fluid 内置的控制器会根据策略选择合适的扩缩容节点,例如在缩容时会结合节点上运行任务情况和节点缓存比例作为筛选条件。

执行弹性版本更新数据集的缓存能力弹性扩缩容,用户只需运行如下命令:

kubectl scale allux数据分析ior发布的抖音怎么删除untimes.data.fluid.io {datasetName}  --replicas={num}

其中 datasetName 对应于数据集的名称,replicas 指定缓存节点的数目。

有关数据集手动扩缩容及其效果的演示视频:http://cloud.video.taobao.com/play/u/2987821887/p/1/e/6/t/1/302459823704.mp4

更多关于数据集手动扩缩容的操数据漫游是什么意思作细节,请参考 Github 上的示例文档。

2数据透视表.开启朋友验证是删除还是拉黑 元数据的备份与恢复

该功能增强了 Fluid 数据集元数据管理的灵活性。先前的 Fl开启靖世九柱uid v0.4 已经支持将数据集的元数据(例如,文件系统 ino数据线de tree)加载至本地,并且会记录数据集的一些关键统计信版本英文息(例数据废土如,数据量大小和文件数量)。然ui是什么意思而,一旦用户销毁本地数据集,这些元数据信息也版本弃子都将ui的四个声调怎么标丢失,重新构建数据集时需再次从底层存储系统获取。

因此,在 Fluid v0.5 中,我们新uic增了一个 K8s 自定义资源对象 —— DataBackup,为用户提数据漫游供了声明式的 API 接口,以控制数据备份的相关行为。DataBackup 自定义资源对象构建的一个简单示例如下所示:

apiVe数据透视表rsion: data.fluid.io/v1alpha发布猫登录1
kind: DataBackup
metadata:
name: hbase-backup
spec:
dataset: hbase
backupPath: pvc://&版本lt;pvcName>/subpath1/subpath2/

再次创建数据集时,只需新增一个指定备份文件位置的字段:

apiVersion: data.fluid.io/v1alpha1
kind: Dataset
metadata:
nameui的四个声调怎么标: hbase
spec:
dataRestoreLocation:
path:版本 pvc://pvc-local/subpath1/
mounts:
- mountuicPoint:  https:版本英文//mirrors.tuna.tsinghua.edu.cn/apache/hbui设计师ase/2.2.6/

此时,Fluid 将首先从备份文件加载版本号是什么意思元数据和数据集统计信息,从而很大地提高元数据加载速度。

更多关于进行数据集元数据备份与恢复的操作细节,请参考 Github 上的示例文档。

3. 数据集的可观测性优化

Fluid v0.5 还进一步增强了数据集的可观测性能力,具体包括两个部分:

1)与 Prometheus 相结合Fluid 0.5 版本发布:开启数据集缓存在线弹性扩缩容之路

该特性发布招聘信息免费的网站能够支持数据开启上班模式心情短语集的可用性和性能指标收集,并且发布会通过 Grafana 进行可视化展示。目前已支持 AlluxioRunti发布页me 的实现,使用者可以方便地了解当前可缓存节点、缓存空间、现有缓存比例、远程读、短路读等性能数据结构指标。整个配置过程非常简单,达到了对于数据集监控系开启黑科技时代胖大福统“开箱即用"的效果。

具体的使用方法,请参考 Github 上的示例文档。

2)新增数据集缓存命中率指标

该功能可以标识过去 1 分钟内对该数据集的全部访问中有多少访问命中了分布式缓存开启y荡模式by。该指标一方面能够帮助用户分析他们数据密集型应用中的性能瓶颈,量化查看 Fluid 在整个应用运版本弃子行的工作流中起到的版本过低怎么升级效果;另一方面能够开启黑科技时代胖大福帮助用户在应用性能提升和缓存资源占用间进行行权衡开启y荡模式by,做出合理的扩缩容决策。

这一指标被添加在 Fuild v0.5的 Dataset.Status.CacheStates 的 Dataset CRD 资源状态中,具体来说包括:

  • Cache Hit Ratio:过去一分ui的四个声调怎么标钟分布式缓存命中的访发布信息的免费平台问百分比。

  • Local Hit Ratio:过去一分钟本地缓存命中的访问百分比。

  • Remote数据线 Hit Ratio:过去一分钟远程缓存命中的访问百分比。

注:对于分布式缓存而言,数据命中有两开启y荡模式by种不同的缓存命中情况。本地缓存命中指的是访问发起者可直接在同结点访问到缓存数据。远程缓存命中指的是访问发起者需要通过网络访问其他结点上的缓存数据。

在 Fluid v0.5 中,用户可以使用以下命令方便地查看缓存命中率指标:

kubectl get da发布中心taset <dataset-name> -o wide
NAME        ...  CACHE HIT RATIO   AGE
<ui设计师d发布任务的app哪个最好ataset-name> ..ui设计师.  86.2%           16m

支持多样环境配置部署

自 Fluid 0.4 版本发布以来,我们根据社区用户实际部署反馈的问题和需求,对 Fluid 在多样开启朋友验证是删除还是拉黑环境下的部署数据漫游是什么意思配置增加了更多支持。

1. 支持 Fuse 的 glob开启黑科技时代al 模式

在 Fluid 中,Dataset 资源对象中所定义的远程文件是可被调度的,这意味着你能够像管理 Pod 一样管理远程文件缓存到 Kuber发布页netes 集群上的位置。执行计算的 Pod 可以通过 Fuse 客户端访问数数据分析师据文件。在先前版本的 Fluid 中,Fuse 客户端总是会调度到缓存所在的节点上,但是用户不能自由控制 Fuse 的调度。

在 Fluid v0.5 中,我们为 Fuse 新增了开启adb重启什么意思 global 部署模式。在该模式下,F发布招聘信息免费的网站use 默认会全局部署到所有发布页节点上。用户也可以通过指定 Fuse 的 nodeSelector 来影响 Fuse 的调度数据库结果。同时,缓存会优先调度部署在执行计算 Pod 数量较多的节点上。

具体使数据恢复用非常简单,可以参考 Github 上的示例文档。

2. 支持 HDFS 的用户级配置

很多社ui设计师区用户使用分布式缓存系统 Alluxio作为 Fluid 数据集的缓存引擎。在数据集持久化存储于 HDFS 文件系统的情况下,要使得 Allux开启io 能够正常访问底层 HDFS,Alluxio 集群需要提前获取该 HDFS 的各类配置信息。

在 Fluid v0.5 中,我们使用 Kubernetes 的原生资源为上述场景提供支持。用户首先需要将 HDFS 的相关配置文件(e.g. hdfs-site.xmlcore-site.xml)以 ConfigMa版本之子p 方式创建到 Kubernetes 环境中,接着在创建的 AlluxioRuntime 资源对象中引用上述创建的 ConfigMap 从而实现上述功能。

AlluxioRuntime 资源对象的一个示例如下所示:

apiVersion: data.fluid.io/v1alpha1
kind: AlluxioRuntime
metadata:
name: my发布页-hdfs
spec:
.数据废土..
hadoopConfig: <configmap-name>
...

至此,创建出的 Alluxio 集数据漫游是什么意思群将能够正常地访问 HDFS 集群中的数据。更多发布招聘信息内容可参考 Github 上的示例文档。

新增数据缓存引擎实现

Fluid 默认使用的分布式缓存 Runtime 是 AlluxioRuntime,为了支持不同环境用户对缓存系统的需求,在之前的版本中 Fluid 已经将分布式缓存 Runtime 接入框架做成了可插拔的架构。在 Fluid v0.5 中,来自阿里云的社发布任务的app哪个最好区贡献者基于该框架开发了 JuidindoRuntime,新增了一种支撑 Fluid Dataset 数据管理和缓存的执行引擎实现。用户可以在 Fluid 中通过 JindoRuntuidime 使用 JindoFS 的 Cache 模式进行远端文件的访问和缓存。在 Fluid 上使用和部署 JindoRuntime 流程简单、兼容原生 K8s 环境、开箱即用。

总结

在 Fluid v0.5 中,我们对 Fluid 的功能特性与用户体验都进行了丰富和增强。

首先,Fluid v0.5 进一步增加了数据集的功能操作:

  • 提供数据集在线弹性扩缩容能力,实现更灵活、更精细的集群资源分配控制。

  • 新增 DataBackup CRD,实现了数据集文件元数据等信息的数据分析备份与恢复,帮助完成数据集ui怎么拼读缓存系统的快速重启。

  • 新增缓存命发布猫登录中率指标,帮助用户开启签到荒古圣体更好量化分析 Fluid 提供的加速效果。

其次,Fluid 支持更多环境模式和配置,满足更多真实场景的部署需求。

最后,Fluid 新开启靖世九柱增了基于 JindoFS 的分布式缓版本存 Runtime —— JindoRuntime,为用户在多样化部署环境中提供不同的缓存开启引擎选择。

我们会继续广泛关注和采纳社区建议,推动 Fluid 项目的长期发展,期待听到大家更多的反馈。

鸣谢

感谢为此版本做出贡献的社区小伙伴们,他们ui设计师包括来自阿里云的王涛发布页、腾讯云的谢远东、中国电信的仇伶玮、南京大学 PASALab 的徐之浩、候浩军、陈国旺、陈雨铨等同学。

作者简介

顾荣 博士,南京大学计算机系副研究员,Fluid 开源项目 co-founder、Alluxio 开源项目 PMC 成员,研究方向大数据处理系统,已在 TPDS、ICDE、JP开启上班模式心情短语DC、IPDPS、ICPP 等领域前沿期刊会议发表论文30余篇,主持国家自然科学基金面上项目/青年项目、中国博士后科学基金特别资助项目多项,研究成果落地应ui设计用于阿里巴巴、百度、字节跳动、中国石化uic版本号命名规则华泰证券等公司和开源项目 Apache Spark、Alluxio,获 2018 年度江苏省科学技术一等奖、2019 年度江苏省计算机学会青年数据线科技奖,担任中国计算机学会系统软件专委会委员/大数据专委会通讯委员、江苏省计算版本太低无法安装微信咋办机学会大数据专委会秘书长。