如何高效存储中高频多因子

2022年12月1日晚7点半,DolphinDB 进行了以「中高频多因子库存储最佳实践」为主题的直播,吸引了众多专业观众的注意。本文将回顾直播精彩内容。

DolphinDB 的因子库:

为了使广大用户更方便地实现因子计算和管理,助力更高效的投研和生产,DolphinDB 结合多年服务金融量化机构的经验,已经实现了 wq101alpha、gtja191Alpha、ta(Technical Analysis)、mytt 这四个国内常用因子库,并且支持研究和生产一体化。

DolphinDB 实现的因子库性能远优于传统的Python实现方式,并且用户可以直接使用论文中所列公式实现,无需用户自定义函数,方便后续修改和定制化生产因子。

DolphinDB 对窗口函数进行了优化,因此因子性能卓越,且实现起来非常简单,基本是原公式的照样翻译。此外,WorldQuant 101 中有部分行业因子,现已支持矩阵入参,且实现了批流一体。DolphinDB 也对 Alpha 因子流实现进行了优化,可以支持多个因子同时解析。

中高频多因子存储

现有解决方案包括使用二进制文件、关系型数据库 SQL Server、MongoDB 以及 ClickHouse 等,但各自都存在一定问题,例如:

  • 二进制文件:一般以因子或因子+日期范围为单位来存储因子,类似于数据库的窄表存储,但数据查询和对齐缺乏灵活性,需要写程序来处理。一般没有压缩,且不能充分享受分布式带来的吞吐量提升。在用户较多时,版本管理和数据一致性会面对极大挑战。
  • 关系型数据库 SQL Server:大数据量时性能急剧下降。窄表存储时,拼接宽表性能低下;而宽表模式最多支持1024列,增删改因子性能不佳。
  • MongoDB:虽然增删因子较为方便,存储空间大,但数据导入导出和转换对齐的效率较低。
  • ClickHouse:宽表存储写入和查询效率高,但是宽表的增删改列的效率极低,超大宽表支持不好(每列一个文件);窄表转宽表效率极低,耗时是宽表查询的30倍以上。此外,ClickHouse 的分布式集群运维和管理较为复杂。

Why DolphinDB:

DolphinDB 在存储引擎、计算引擎和权限管理等方面都有丰富的功能开发和显著的性能优势。

存储引擎

  • 分布式存储,大幅提升读写吞吐量
  • 灵活的分区策略:支持三层分区,每层分区支持值,范围,哈希等多种方式
  • 支持分区内索引
  • 支持窄表存储和宽表存储(32767列)
  • 高压缩比
  • 灵活的数据去重策略
  • 高效的分区写入,删除和更新等操作
  • 支持 Array Vector
  • 支持多个分布式表的 Co-location存储
  • 多引擎满足不同场景需要

计算引擎

  • 分布式计算提升计算能力
  • 库内支持因子的批量计算和流式计算,支持批流一体
  • 支持SQL和 Join,尤其是Window Join 和Asof Join
  • 高效的数据过滤,对齐,转置,转换,平滑以及窗口处理
  • 1400+内置函数库
  • 内置多范式编程的脚本语言

权限管理

  • 支持按用户和用户组进行权限管理。对任一权限支持grant,revoke和 deny三种操作
  • 支持对数据库,表和函数视图三种对象进行管理
  • 区分创建、更新、删除、写、读、执行等权限
  • DB_OWNER 角色赋予某些用户独立创建和管理数据库的能
  • 函数视图帮助机构实现复杂的权限管理,譬如因子访问控制

……

最佳实践:

经过相同配置环境下不同存储方案的对比,我们发现,在10分钟级10000个因子数据场景下,宽表模式的因子写入速度高于窄表模型,但差距不大。因子数据查询方面,窄表模式略优于宽表模式。因子数据运维方面(包含新增因子、更新和删除因子),窄表模式的效率远远优于宽表模式。

综合来看,我们更加推荐DolphinDB用户在中高频多因子场景下,使用窄表模式解决方案。

值得期待的进展:

DolphinDB目前已经实现了诸多研发成果,未来也将在行情接入、研发回测、生产交易和基础设施等方面进一步发展。

如何高效存储中高频多因子

如何高效存储中高频多因子

如何高效存储中高频多因子

如何高效存储中高频多因子