hackhp 发表于 2026-9-11 11:10:05

【已回复】Nginx 防火墙拦截爬虫

为了能快速了解并处理您的问题,请提供以下基础信息:面板、插件版本:Nginx 防火墙 9.8.9
系统版本:Debian 12
问题描述:时不时就拦截谷歌的爬虫,同一个爬虫 IP,一会放行,一会拦截。
相关截图(日志、错误):

桥哥 发表于 2026-9-11 11:22:21

根据你提供的日志截图,这个问题是宝塔Nginx防火墙中“蜘蛛IP放行”与“禁止海外访问”功能冲突导致的,这属于已知的功能性Bug,要解决这个问题,最直接有效的方法是将Googlebot的IP段加入IP白名单。IP白名单的优先级最高,可以覆盖所有其他拦截规则。
操作路径:宝塔面板 → 安全 → Nginx防火墙 → 全局配置 → IP白名单 → 添加规则。
如果您还有更多问题和疑虑,您可以通过客服咨询宝
塔面板相关问题:https://docs.bt.cn/wechat-service
操作方式:复制链接在微信打开,即可在线咨询客
服。

hackhp 发表于 2026-9-11 13:08:48

桥哥 发表于 2026-9-11 11:22
根据你提供的日志截图,这个问题是宝塔Nginx防火墙中“蜘蛛IP放行”与“禁止海外访问”功能冲突导致的,这 ...

【以前】优先级:IP白名单> IP黑名单 > UA白名单 > UA黑名单 > URL关键词拦截 > 单URL CC防御 > URL白名单 > URL黑名单 > 蜘蛛池 > 禁止境外> 禁止国内> 地区限制 > 非浏览器拦截> User-Agent > CC防御 > Cookie > URI过滤 > URL参数 > Thinkphp防御> POST > 网站自定义防御

【现在】优先级:IP白名单 > IP黑名单 > UA白名单 > URL白名单 > UA黑名单 > URL黑名单 > URL关键词拦截 > 单URL CC防御 > 禁止境外 > 禁止国内 > 非浏览器拦截 > User-Agent > CC防御 > Cookie > URI过滤 > URL参数 > Thinkphp防御 > POST > 网站自定义防御

现在的优先级, 没有了“蜘蛛池”。
页: [1]
查看完整版本: 【已回复】Nginx 防火墙拦截爬虫