当前位置:论坛首页 > Linux面板 > 讨论

【已完成】宝塔防火墙如何设置指定UA拦截指定规则的URL

发表在 Linux面板2023-12-6 12:31 [复制链接] 2 1000

宝塔防火墙如何设置指定UA拦截指定规则的URL?
比如最进某个搜索引擎抽风,蜘蛛过来爬的时候都要带查询参数(?hfsdj)之类的,我该如何使用宝塔防火墙进行屏蔽?若是直接屏蔽UA,则搜索引擎所有页面都爬不了了。

而这个搜索引起也不遵守robots.txt文件,明明该目录已经禁止,他仍旧在爬……
使用道具 举报 只看该作者 回复
发表于 2023-12-6 14:19:29 | 显示全部楼层
您好,如果是UA黑名单禁止爬虫,通常是直接禁止蜘蛛名称的,例如是bing/bot,则会直接禁止bing/bot
只要访问连接内存在bing/bot则会直接拦截的,其他蜘蛛是不会受影响的。
使用道具 举报 回复 支持 反对
发表于 2023-12-13 10:44:39 | 显示全部楼层
您好,由于您的帖子长时间未回复,这边将帖子状态修改已完成,如您当前问题未解决,您可以重新在帖子内回复或者重新发帖子反馈,如是有新问题您可以重新发帖子反馈。
使用道具 举报 回复 支持 反对
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

企业版年付运维跟进群

普通问题处理

论坛响应时间:72小时

问题处理方式:排队(仅解答)

工作时间:白班:9:00 - 18:00

紧急问题处理

论坛响应时间:10分钟

问题处理方式:1对1处理(优先)

工作时间:白班:9:00 - 18:00

工作时间:晚班:18:00 - 24:00

立即付费处理

工作时间:09:00至24:00

快速回复 返回顶部 返回列表