【待反馈】WAF设置了禁止访问的URL蜘蛛仍旧能爬取
为了能快速了解并处理您的问题,请提供以下基础信息:面板版本:8.2.0插件版本:Nginx防火墙 9.4.6系统版本:系统:CentOS 7.9.2009 x86_64(Py3.7.9)
问题描述:
WAF界面的优先级说明如图所示是URL黑名单 > 蜘蛛池
优先级:IP白名单> IP黑名单 > UA白名单> UA黑名单> URL关键词拦截 > 单URL CC防御 > URL白名单 > URL黑名单 > 蜘蛛池 > 禁止境外> 禁止国内> 地区限制 > 非浏览器拦截> User-Agent > CC防御 > Cookie > URI过滤 > URL参数 > Thinkphp防御> POST > 网站自定义防御
但我在设置了禁止访问的URL后,蜘蛛仍然可以正常爬取,日志显示状态码是404,而我通过测试正常访问显示的是拦截页,在日志显示状态码是403,怎样禁止蜘蛛爬取指定URL又不影响爬取其它正常页面?
相关截图(日志、错误):
您好,您可以设置个url的黑名单,它的优先级是在蜘蛛池之上的
页:
[1]