2022-09-05 mysql/stonedb-查询时多线程并行处理开发路线图

摘要:

记录对于stonedb进行利用多核CPU加快查询时的nested loop策略的路线图。

所涉及模块:

一. STONEDB相关

  • stonedb查询优化器整体架构
  • stonedb列存储模块
  • stonedb条件处理模块
  • stonedb的迭代器/索引/维度/索引表相关模块
  • stonedb的缓存模块
  • 二. 业界领域横向com.cn/tag/%e6%95%b0%e6%8d%ae" target="_blank">数据库策略借鉴化

    1. clickhouse向量化并行读取pack
    2. mariadb的column store列存储
    3. mysql 8查询优化器优化策略

    进度路线计划:

    一. 对STONEDB架构设计和模块设计的理解

    • 预估耗时: 1.5个人月

    二. 吸取业界领先的并行化设计思想, 重构STONEDB底层模块的设计

    • 预估耗时: 1个人月

    三. 对STONEDB根据正确的并行化设计, 改造底层访问接口

    • 预估耗时: 1个人月

    四. 对逻辑层nested loop逻辑进行重构

    • 预估耗时: 1.5个人月

    五. 单元测试及回归测试

  • 预估耗时: 0.5个人月