杉岩数据银行Documentum迁移方案

一、方案原理

常规的Documentum迁移工具,如图1所示EMC原厂提供的EMA(Documentum Enterprise Migration Appliance)迁移工具,通常通过绕开Documentum的内容服务器API接口,根据Documentum内部文件对象索引规则直接访问数据库和NAS服务器来加速Documentum迁移过程,性能相比于通过API接口迁移能够提升10倍,但是每个小时也只能搬迁120万对象,如果Documentum存储了10亿文件对象,刨去其他工作或者异常处理的时间,最短也需要35天时间,这是一个充满风险和不可控因素的过程,另外因为应用侧不可能停机等待35天,所以应用侧必须改造业务支持同时从两边去读写数据,增大了业务改造工作量和业务代码的复杂度。

杉岩数据银行Documentum迁移方案

如图2所示,杉岩提供的Documentum迁移方案,同样通过直接访问Documentum的数据库获取文件的元数据和索引信息来提高迁移性能,另外基于NAS纳管特性,针对历史存量数据,在业务无需停机的情况下短时间内完成历史存量数据的纳管,然后在业务切割的极短时间窗口内,基于数据库时间戳快速完成增量数据的纳管,此时上层业务即可立即恢复正常服务,整个业务切换完成。

杉岩数据银行Documentum迁移方案

杉岩数据银行Documentum迁移方案

业务切割到SandStone MOS完成后,整个影像系统访问NAS和SandStone MOS的数据流程如图3所示:

所有新的文件保存到SandStone MOS,历史文件数据的读取由对象网关服务层自动代理到NAS;
业务在线的情况下,管理员通过SandStone MOS生命周期转移特性,设置NAS数据转移到SandStoneMOS的具体时间点和策略,SandStone MOS将自动完成全量NAS文件到自身的搬迁。
二、 业务接口改造

影像平台使用Documentum,通过Documentum提供的HTTP方式的API接口完成增删改查操作,SandStone MOS提供的S3接口同样属于HTTP方式的API,所以业务系统改造只需要从原来的Documentum接口改为调用SandStone MOS提供的标准S3接口即可。原有的方式是:影像系统通过Documentum API对数据进行检索,得到文件的r_object_id,进而根据r_object_id获取文件。数据完成迁移之后:影像系统通过MOS提供的检索接口检索对象,得到对象名,进而根据对象名称获取对象。

三 业务切割关键问题

1、 NAS纳管性能

NAS文件纳管的过程中,从Documentum的数据库查询文件的元数据和索引信息,然后将文件索引以及标签信息一并写入到SandStone MOS,Oracle 数据库的查询性能一般比存储系统写入的性能高,存在数量级的差别,所以NAS文件纳管的速度主要瓶颈在存储系统。

参考杉岩实验室测试报告数据,4节点环境8KB文件的写入TPS可以达到5000,因为NAS纳管的过程中业务尚未切割到SandStone MOS,所以所有写性能全部可以分配给到NAS作业,也就是纳管的性能参考指标为: 5000/s (具体值需要根据上线方案配置计算,一般会更高)。

2、 数据存量

XX银行当前影像系统的文件主要以50KB以下,以及50~900KB的文件为主,整套系统的数据量在300~400TB的体量,全国30多个分支银行,每个分支每年视频监控数据在50~60TB左右。

3、切割时间估算

假设存量数据总量按照300TB,平均200KB大小,总共大概是16亿个文件,按照5000/s的速度,那么如图4所示:

存量数据的纳管需要89小时,大概4天完成;
存量数据纳管的这4天内,业务数据增量为(30*50TB)/365 = 4.1TB,增量文件数量大概是2200万
2200万增量数据的纳管需要1.2小时,也就是业务切割时需要停机的时间,加上其他操作时间,预计2小时可以完成。

杉岩数据银行Documentum迁移方案

4、 失败回滚

假如业务切割到SandStone MOS上之后,验收测试发现异常需要处理,可以立即回滚业务系统,切回Documentum,因为实际数据和元数据都没有删除掉,整个系统能够立即恢复服务,风险小。

四、完整迁移步骤

杉岩数据银行Documentum迁移方案

1、准备工作

如图所示,保证Documentum的DB和NAS服务可以正常访问,业务系统正常运行,部署好SandStone MOS分布式对象存储可用。

2、存量数据纳管

无需停业务,保持业务正常在线。

记录当前时间点T1,通过迁移工具从数据库读取T1时间点及之前的文件元数据及索引一并写入SandStone MOS,完成存量NAS文件的纳管工作,预计花费时间4天。

3 业务停机

业务切割过程开始,记录当前时间点T2,停掉业务程序。

4、 增量数据纳管

完成T1到T2时间点新增数据文档的纳管,预计花费时间2小时。

5、 业务切换

此时所有Documentum文件数据通过SandStone MOS均可以统一访问,执行业务程序切换动作,将业务流量指向SandStone MOS。

6 业务恢复

启动新的业务程序,执行功能验证测试,如果失败则执行回滚操作,如果验证测试成功表明业务切割成功,整个迁移过程结束。

五 后期内容搬迁

1、数据正确性

SandStone MOS内置生命周期转移NAS文件的过程中,会自动对迁移完成的文件做MD5值校验,从而保证数据的完整性和正确性。

2、平滑迁移QoS

NAS文件搬迁的过程中为了防止对正常业务造成性能影响,SandStone MOS支持生命周期转移QoS控制功能,可以根据业务性能需求以及系统性能做合理调配,优先保证业务访问性能的前提下,最大化数据搬迁效率。

3、数据搬迁周期

业务切割成功之后,所有的新文件都直接写入SandStone MOS,所以后续需要搬迁的NAS文件数量是固定的,按照16亿计算,然后搬迁的生命周期转移QoS控制TPS为500,那么需要40天的搬迁时间,具体需要根据生产环境配置调整。

六、总结

面对XX银行上10亿的Documentum存量数据,EMC原厂提供的迁移方案需要超过一个月的迁移时间,工作量大、周期长,几乎不可行。

杉岩数据提供的Documentum迁移方案,结合SandStone MOS特有的NAS纳管特性,只需要4天的时间完成存量数据纳管以及2小时的停机时间窗完成增量纳管以及业务切割,极大简化了Documentum向对象存储迁移的业务复杂度,减轻应用改造和迁移工作量,能够满足XX银行Documentum迁移需求。