宝塔618特惠活动,企业版999元/年,宝塔SSL证书买1送1!限时抢购!查看活动
当前位置:论坛首页 > Linux面板 > 求助

【待反馈】WAF设置了禁止访问的URL蜘蛛仍旧能爬取

发表在 Linux面板2024-6-21 23:55 [复制链接] 1 1239

为了能快速了解并处理您的问题,请提供以下基础信息:
面板版本:8.2.0
插件版本:Nginx防火墙 9.4.6
系统版本:系统:CentOS 7.9.2009 x86_64(Py3.7.9)
问题描述:

QQ截图20240621234442.jpg
WAF界面的优先级说明如图所示是URL黑名单 > 蜘蛛池
优先级:IP白名单> IP黑名单 > UA白名单> UA黑名单> URL关键词拦截 > 单URL CC防御 > URL白名单 > URL黑名单 > 蜘蛛池 > 禁止境外> 禁止国内> 地区限制 > 非浏览器拦截> User-Agent > CC防御 > Cookie > URI过滤 > URL参数 > Thinkphp防御> POST > 网站自定义防御

但我在设置了禁止访问的URL后,蜘蛛仍然可以正常爬取,日志显示状态码是404,而我通过测试正常访问显示的是拦截页,在日志显示状态码是403,怎样禁止蜘蛛爬取指定URL又不影响爬取其它正常页面?
相关截图(日志、错误):

QQ截图20240621233848.jpg QQ截图20240621233820.jpg
使用道具 举报 只看该作者 回复
发表于 2024-6-22 09:21:51 | 显示全部楼层
您好,您可以设置个url的黑名单,它的优先级是在蜘蛛池之上的
使用道具 举报 回复 支持 反对
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

普通问题处理

论坛响应时间:72小时

问题处理方式:排队(仅解答)

工作时间:白班:9:00 - 18:00

紧急运维服务

响应时间:3分钟

问题处理方式:宝塔专家1对1服务

工作时间:工作日:9:00 - 18:30

宝塔专业团队为您解决服务器疑难问题

点击联系技术免费分析

工作时间:09:00至18:30

快速回复 返回顶部 返回列表