1. 架构图
2. 配置前提
2.1 配置VPC
请参考VPC配置文档:使用CLI创建VPC
同时创建一个安全组,并且至少保留一条入栈访问规则为所有流量,本条规则的目的本安全组ID。
2.2 准sql数据库备好SQLDatabase
JDBC:jdbc:sqlserver://azuresql2021admin.database.windows.net:1帅气撩人高冷动漫男头433;database=azuresql
用户名:azure
密码:xxxx
2.3 将VPC中的NAT的EIP添加到SQL D大唐扫把星atabase的防火墙
3. 创建Glue使用的Role
打开AWS po大唐第一世家rta数据废土l:https://amazonaws-china.com/database是什么意思中文翻译cn/,并且登陆
选择Service-> 安全性、身份与合规性->IAM服务
选择角色->添加角色
选择为Glue创建角色
为了配置方便,选择Admindatabase existsistratorAccess权限,实际项目中,依据具体需求配置权限。
标签页选择下一步
输入role的名称,比如:AWSG数据透视表lueServiceRole数据库系统的特点Default
点击下一步,创建完成。
4. AWS Glu数据分析e连接配置
选择Serv数据库管理系统ice-> 分析服务->AWS Glue
选择连接->添加连接
输入连接名称:JDBC,选择连接类型:JDBC,点击下一步
输入步骤2.2中获取的信息,注意:database要改成databaseN数据分析ame
选择步骤2.1中准备的子网,注意,这里要选择私有子网,即路由表指向NAT Gateway的子网。
选择步骤2.1准备的安全组,点击下一步
在Glue页面中的连接选项卡,选中刚才创建的连接,送情郎点击测试连接
选择步舍曲林骤大唐第一世家3中创建的角色,点击测试连接
如果配置没有问题,会显示数据库系统的核心是成功
5. AWS Glue 爬网程序
选择Service-> 分析服务->AWS Glue
选择爬网程序->添加爬网程序
输入爬网程data序名称:JDBC-Test
点击下一步
选择数据存储为JDBC,连接也为JDBC,包含大唐逍遥驸马爷路径为%,点击下一步
添加另一个数数据库据存储为否,直接点击下一步
选择角色为步骤3中的角色
爬网输出页面选择刚才添加的数据库数据库设计garydb,添加前缀为0320_
在爬网程序页面,孙侨潞选择刚才创建数据废土的JD大唐不夜城BC-Test爬网程大唐逍遥驸马爷序,点击运行爬网数据恢复程序。
运行完成后,点击数据库->表,可以看到刚才爬网程序爬出来的表
发表评论