面对业务增长,Uber是如何扩展HDFS文件系统的

面对业务增长,Uber是如何扩展HDFS文件系统的

3年前,Uber采用了Hadoop作为大数据分析的存储(HDFS)和计算(YARN)基础设施。借助于这套系统,Uber的服务能力得到了增强,用户体验也得到了提升。

Uber将基于Hadoop的批量和流式分析应用在了广泛的场景中,例如反作弊、机器学习和ETA计算等。随着过去几年的业务增长,Uber的数据容量和访问负载也呈现了指数级增长的趋势,如:仅2017年,存储在HDFS中的数据量就增加了超过400%。

同时保证系统扩展能力和高性能并不是一件容易的事情。Uber的数据基础设施团队采用了多种方式来扩展HDFS系统,例如视图文件系统(ViewFS)、频繁的HDFS版本更新、NameNode的垃圾回收调优、减少小文件的数量、HDFS负载管理服务、只读的NameNode副本等。下面将详细介绍,Uber是如何通过这些改进措施来保证存储系统的持续