手把手教你在Web 应用防火墙设置合法爬虫规则

云栖号快速入门:【点击查看更多云产品快速入门】
不知道怎么入门?这里分分钟解决新手入门等基础问题,可快速完成产品配置操作!

合法爬虫功能提供合法搜索引擎白名单(例如Goog2 P d 9 Yle、Bing、百度、搜狗、360、Yandex等),方便您为域名设置放行合法爬虫的Z k Z ^ 3 x访问请求。

手把手教你在Web 应用防火墙设置合法爬虫规则

前提条件

背景信息

合法爬虫规则依据阿J { { / K U ] D ^里云爬虫情报库,帮助您直接放行合法爬虫请求。阿里云爬虫情报库基于阿里云全网流量计算得出并可实时更新,涵盖合法爬虫访问请求来源的特征信息。合法爬虫支持主流搜索引擎的爬虫IP信息,可动态更新,目前包含Google、百度、搜狗y ` ( ? j、360、Bing、Yandex。

启用合法爬虫规则后,来自相关搜索引擎的合法爬虫IP将被直接放行,不经过Bot管理模块的防护* i T n M , S k R检测。

手把手教你在Web 应用防火墙设置合法爬虫规则

操作步骤

1.登录Web应用防火墙控制台
2.在顶部菜单栏,选择Web应用防火墙实例的资源组和地域(中国内地、海外地区)。
3.在左侧导航栏,单击防护配置 > 网站防护
4.在网站防护页面上方,切换到要设置的域名。
手把手教你在Web 应用防火墙设置合法爬虫规则
5.单击Bot管理页签,定位到Bot管理模块下的合法爬虫,开启状态开关,并单击前去配置
手把手教你在Web 应用防火墙设置合法爬虫规则
6.在合法爬虫规则列表,根据情报名称选择要放行的合法爬虫4 R N,开启对应的启用状态开关
手把手教你在Web 应用防火墙设置合法爬虫规则
默认规则支持单独设置放行来自以下搜索引擎的爬虫请求:Google、Bing、百度、搜狗、360、Yandex。您也可以只开启合法( ? ; + Y E ,搜索引擎白名单规则,放行所有支持的搜索引擎白名单。

本文来_ W D g自 阿里云文档中心 Web 应用v ^ f 0 L o } - y防火墙 设置合法k r i爬虫规则

【云栖号在线课堂】每天都有产品技术专家分享!
课程U + c o # H地址:https://yqh.aliyun.com/zP bhibo

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK