使用Glue抓取Azure SQL Database的数据库

1. 架构图

使用Glue抓取Azure SQL Database的数据库

2. 配置前提

2.1 配置VPC

请参考VPC配置文档:使用CLI创建VPC
同时创建一个安全组,并且至少保留一条入栈访问规则为所有流量,本条规则的目的本安全组ID。

2.2 准sql数据备好SQLDatabase

JDBC:jdbc:sqlserver://azuresql2021admin.database.windows.net:1帅气撩人高冷动漫男头433;database=azuresql
用户名:azure
密码:xxxx

2.3 将VPC中的NAT的EIP添加到SQL D大唐扫把星atabase的防火墙

使用Glue抓取Azure SQL Database的数据库

3. 创建Glue使用的Role

打开AWS po大唐第一世家rta数据废土l:https://amazonaws-china.com/database是什么意思中文翻译cn/,并且登陆
选择Service-> 安全性、身份与合规性->IAM服务
使用Glue抓取Azure SQL Database的数据库

选择角色->添加角色
使用Glue抓取Azure SQL Database的数据库
选择Glue创建角色
使用Glue抓取Azure SQL Database的数据库
为了配置方便,选择Admindatabase existsistratorAccess权限,实际项目中,依据具体需求配置权限。
使用Glue抓取Azure SQL Database的数据库
标签页选择下一步
输入role的名称,比如:AWSG数据透视表lueServiceRole数据库系统的特点Default
使用Glue抓取Azure SQL Database的数据库
点击下一步,创建完成。

4. AWS Glu数据分析e连接配置

选择Serv数据库管理系统ice-> 分析服务->AWS Glue

选择连接->添加连接
使用Glue抓取Azure SQL Database的数据库

输入连接名称:JDBC,选择连接类型:JDBC,点击下一步
使用Glue抓取Azure SQL Database的数据库
输入步骤2.2中获取的信息,注意:database要改成databaseN数据分析ame
选择步骤2.1中准备的子网,注意,这里要选择私有子网,即路由表指向NAT Gateway的子网。
选择步骤2.1准备的安全组,点击下一步
使用Glue抓取Azure SQL Database的数据库

最后点击完成
使用Glue抓取Azure SQL Database的数据库

在Glue页面中的连接选项卡,选中刚才创建的连接,送情郎点击测试连接
使用Glue抓取Azure SQL Database的数据库

选择步舍曲林大唐第一世家3中创建的角色,点击测试连接
使用Glue抓取Azure SQL Database的数据库
如果配置没有问题,会显示数据库系统的核心是成功
使用Glue抓取Azure SQL Database的数据库

5. AWS Glue 爬网程序

选择Service-> 分析服务->AWS Glue
使用Glue抓取Azure SQL Database的数据库
选择爬网程序->添加爬网程序
使用Glue抓取Azure SQL Database的数据库

输入爬网程data序名称:JDBC-Test
使用Glue抓取Azure SQL Database的数据库
点击下一步
使用Glue抓取Azure SQL Database的数据库
选择数据存储为JDBC,连接也为JDBC,包含大唐逍遥驸马爷路径为%,点击下一步
使用Glue抓取Azure SQL Database的数据库
添加另一个数数据库据存储为否,直接点击下一步
使用Glue抓取Azure SQL Database的数据库
选择角色为步骤3中的角色

选择按需运行
使用Glue抓取Azure SQL Database的数据库
在输出页面,选择添加数据库
使用Glue抓取Azure SQL Database的数据库

添加数据库页面,数据库名称为garydb
使用Glue抓取Azure SQL Database的数据库

爬网输出页面选择刚才添加的数据库数据库设计garydb,添加前缀为0320_
使用Glue抓取Azure SQL Database的数据库

Review后,点击完成
使用Glue抓取Azure SQL Database的数据库

在爬网程序页面,孙侨潞选择刚才创建数据废土的JD大唐不夜城BC-Test爬网程大唐逍遥驸马爷序,点击运行爬网数据恢复程序。
使用Glue抓取Azure SQL Database的数据库
运行完成后,点击数据库->表,可以看到刚才爬网程序爬出来的表
使用Glue抓取Azure SQL Database的数据库

使用Glue抓取Azure SQL Database的数据库