对话|DAS的数据库自治技术解读

对话|DAS的数据库自治技术解读

点击观看完整视频:数据库风向标

>>>薛高敏(天钰)

阿里云数据库产品经理,现负责数据库自治服务DAS的产品管理、方案设计工作。

>>>陈杰(艾奥)

阿里云数据库高级算法专家,现负责数据库自治服务DAS产品实例弹性扩缩容、异常检测和SQL优化方向的研发。

>>>张涛(鼎智)

阿里云数据库研发专家,现负责DAS数据链路和查询治理方面的研发。

>>>付晗(远名)

博士,现于达摩院数据库存储实验室负责数据库智能研究,曾在ACL、CVPR等人工智能顶级会议上发表论文。

Q

薛高敏:谈到数据库,一个始终离不开的话题就是SQL。我们很多开发者在日常工作中都会接触到SQL。用户在写SQL的过程中,由于不同数据库引擎需要适配不同的SQL模板。导致用户的学习成本变高,而执行效率往往较低。如果出现故障,企业也没有兜底的方案。那么过去和现在都是如何解决这些问题的?

   艾奥:  在过去,数据库的运维工作主要依赖DBA进行人工运维。因为DBA对自己负责的数据库及相关业务有很多了解,可以针对性的优化数据库实例、解决相关问题。随着DBA人均负责的数据库实例越来越多,会基于运维知识和场景化开发相应的自动化工具,进一步提高维护的效率和标准。

在云场景下,数据库实例支持的业务越来越多样化,规模也越来越大。企业依赖传统人工运维或特定场景的标准化工具,已经无法解决所有问题。

因此,在云上出现了更多系统化的数据库实例运维工具。它能对实例进行全方位的监控,基于实例的工作负载和性能数据,做出针对性的更新定位。结合机器学习算法,对实例进行调优,达到数据库实例自治的目标。

对话|DAS的数据库自治技术解读

在阿里云自治服务DAS上,针对SQL的相关问题,例如索引缺失、SQL不优等进行了相应的优化。在空间问题,容量评估、负载问题和数据安全方面,都有相应的场景化分析工具和智能化的策略。

Q

薛高敏:企业的实例数往往非常庞大,如何进行大规模的常态化治理,成为企业非常关心的话题。那么有哪些发现问题SQL的方法?

   鼎智:  发现问题SQL的方法,通常可以分为两类。第一类,在上线前发现问题并进行拦截。第二类,是基于智能辅助系统,进行半人工的治理。第三类,全自治的智能数据库。

目前DAS完全覆盖了第一种和第二种方式,作为一个智能辅助系统不断地迭代,提供更准确的归因分析能力。

与此同时,DAS也朝着全自治的目标努力。

Q

薛高敏:关于自然语言到SQL转译问题的最新研究进展。达摩院的智能数据库实验室具体做了哪些方向的探索和解决方案?

   付晗:  智能数据库实验室从2019年开始,对NL2SQL相关领域进行研究。目前,主要开展四个方向的研究。

对话|DAS的数据库自治技术解读

第一个方向,提升神经网络模型的效率。我们设计了一种新的预测方式,可以在相同配置条件下,把吞吐率提升5至10倍。

第二个方向,利用数据库领域的知识,提升SQL在语法和语义上的准确性。目前已可以显著超过现有方法的准确率。

第三个方向,支持多领域的大数据库。达摩院提出了库表定位技术,可以有效支持几十个领域、上千个表的大数据库,并且保证最终的准确率不会下降。

第四个方向,无监督的NL2SQL。神经网络模型需要大量人工标注的数据,标注成本很高。达摩院的主要目标是,不需要人工标注数据实现NL2SQL。

  / End /