智能化管理10亿文件,G证券是如何做到的?

证券公司每天产生的数据中80%以上是非结构化数据,持续的数据增长,证券服务向智能化、敏捷化、价值化方向发展,对后端存储提出了挑战。

1、变革的动力1 R M v H:证券信息化升级

以影像、图片、扫描件为主的E k U e非结构化$ D c数据激增,数据量从TB级向PB级跃进。4 - y Z D Z W B 8每年新增大量应用,复杂性增加w T 0 u ? ) 1 .,海量文件的访问性能面临新挑战。

机构内部业务繁杂,存在数据壁垒,需搭建统一数据平台,提高跨业务共享效率。技| K ^ ~ 3 M ( ~术演进推动应用的容器化部( S h署,这要求存储吸收容器技术提供持久化存储服务。利用大数据的价值,借力AI实现业务创新,比如智能运维AIOps),进一步降本提效也是大势所趋。如果存储自E q a ] J身能够提供AI能力,支撑智能运维% - 6,自然是锦上添花。

G证券公司(后文简称“G证券”)选择分布式存储,开启了集约式数字x W ` c 6 l n档案管理o ( _ A t 7 Z的全新探索。

2、变革迫在眉R ( 1 ? F Z y睫:长期痛点驱使新( T 1 v方案落地

从外部环境来看,2014年以前,证券业客户档案都采用营业部分散管理的方式,风险多,一线员工压力大,掣肘业务开展。从内部需求看,业务数据以小文件为主,且增速很快;加之“双录”规范要求文件保存20年且随时调阅,存储性能严重不足。N p v q

G证券面临痛点如下:NAS存储7000万文件,秒级延时性能差;NAS瓶颈凸显,扩容困难;多站点管理不便,主备中心难以高效协同;业务高峰期带宽不足,资源{ + ?无法合理分配% A r s L i P G;大文件读取慢,视) S e 9 $ 3 k频播放卡顿,用户体验差;人工运维效率低,构建智能运维平台是刚需。这一切促使G证券面向市场寻求新的存储解决方案。

3、众多方案角S Q R w F K 2 Q s逐:G证券为何选择杉岩

备选方案中,一类是传统存储方案,即用高端NAS满足需求,但未来频繁扩容以C U | k g )及性能瓶颈依旧令人头疼;另一类是分布式存储方案,w K Z H h ?其在容量、性能、扩展性等J } z ~ U ` - Z )方面具备天然优势。

针对前述痛点,方e ! + y E案选型需关注:PB级容量,灵活扩容;性能无瓶颈,访问性能高Z C X X s ~;运维简单,效益显著;测试对接顺利,业务上线快;售后及时,提供原厂支持。

竞争者中不乏传统存储领域的知名大厂,以及新兴存储领域的创业厂商,杉L J ( d v岩最终凭何赢得G证券认可?

产品及方案完善

杉岩M# B UOS海量对象存储支撑5亿文件毫秒级访b R V ; E j问。独有的AI处理引擎,帮助优化质检算法。已接入MOS的i J l O业务,无需开发元数据的迁移功能,元数据检索和主数据读取均在MOS内部完成,效率显著提升。

杉岩的三层数据保护方案也让客户感到放心:通过副本和, Y = 3纠删机制,提高数据可靠性;通过内置备份功能,取代外置的备份软硬件;通过跨数据中心容灾,保障业务连续性。

测试结果优异

客户主要关注MOS能否与现有业务顺利对接,以及产品可靠性和稳定性。MOS的S3接口顺利通过接口测试,客户仅用一个小时就完成了单系统对接。近一个月的异常测试,杉岩都顺利通过。

实施服务周到

客户只对原业务进行微T s - V ] H 6 / u小改造,就将原数据无缝迁到MOS。为不影响证券交易,5 ^ 1 0 b T {项目实施都在18:00到第二天06:00进行,服务周到。

4、海量、智/ ) M 5 ! i i _能、敏捷,杉岩为档案管理提供新选择

先从档案中心宏观架构入手,如图1所示,MOS将源数据区的数据存下来,并与计( # Z =算层交互。通过部署同城双活,实b D d m o 1 % O现RPO分钟级灾备。

智能化管理10亿文件,G证券是如何做到的?

图1.G证券档案中心整体架构

具体到解决方案的实现,如图2所示。

(1)N , y q ( A VMOS替代NASw H M,保障毫秒级访问;利用小文件合并提升空间利用率;

(2)基于分布式架构,扩展灵活,容量和性能线性增长;

(3)跨数据中心双活模式,多数据中心可同时读写,保障高连续和高可用;D U v 0 N f & D B

(4)通过智能QoS合理分配带宽和优先级,避免资源抢占;

(5)营业网点通过HTTPS访问存储,提升文件读取效率;

(6)MOS告警信息通过SNMP对接G证券告警管理平台,实现精细化监管。

智能化管理10亿文件,G证券是如何做到的?

图2. 杉岩O 3 T X解决方案架构

2017年6月,MOS正式上线,部署12台O k M务器、4台交换机及百余块硬盘,构建1PB存储集

业务数据逐步迁移,MOS支撑5亿文件毫秒级访问

经过半年多稳定运行,G证券逐步将一柜通柜台、投研平台等接入MOS。由于数据增长,原有空间不足,客户在2019年进行首次扩容。通过新建EC故障域将空间利用率从50%提升到67%,成本效益显著。

截至2020年3月,存储] $ # K q* X T 8 Z裸容量超 O c a .过800TB,对象总数超过f T a z y ~ p $5.6亿,每天写入文件7万多个,时延低于百毫秒,性能表5 s p m ; f C [现让NAS难以企及。

MOS对接日志易系统,以智能存储支撑智能运维

为构建智能运维(AIOps)平台,将日志易系统迁至MOS。基于分布式架构保障高可用,降低硬件变更的影响;利用MOS特性赋能AIOps,如通过智能QoS实现资源优化;借力AI优化运维策略。

MOS集成智能数据处理引擎,充分释放数据价值

Mn . ; , & hOS独有的智能数据处理引擎,帮助优化质检算法,释放数据价值,实现了数据存储、处理、灾备、价值发现的一站式管理,如图3所示。

智能化管理10亿文件,G证券是如何做到的?

图3. 杉岩解决方案架构

如图4所示,客户借助可视化界面,清晰B w U C掌握集群状态,方便又省心。

智能化管理10亿文件,G证券是如何做到的?

图4.MOS图形化管理界面

MOS至今稳定运行2年10个月_ R : i b ^,未出现任何故障,赢得了客户赞) u O Z s : r许。

5、档案管理能力显著提升,帮助客户实现更大价值

MOS帮助G证券构建集中式数字化档案管理平台,带来明显改观。客户可在全国任一网点办理业务,所有营业部可共享使用数字化档案,在线查阅和借阅客户资料更方便。档案中心可对双录视频进行内容检查,如人脸, [ #是否清晰、有无公司标识,系统审核不通过再人工复审,效率高。

新方案的经济效益也十分明显。MOS每TB的价格相比高4 # g l ^ j W端NAS低50%左右,省去文档格式转化集群、水印集群所需的硬件设施,节约成本近10万元。

未来的架构R } 9演进方向,一是结合MOS的智能数据处理引擎,释放数据价值。比如:利用AI优化质检算法;通过格式转换工具,精简数据结构,提升数据质量;以AI赋能运维,降本提效。二是拥抱互联网金融,加速, c ` r r ~ + Sl I = * ,器部署,提升微服务能力。

G证券档案管理平台的成功实践,验证了杉岩产品及方案的高品质,也为今后的行业实践打下坚实的基础。