【已回复】Nginx 防火墙拦截爬虫

为了能快速了解并处理您的问题，请提供以下基础信息：

面板、插件版本：Nginx 防火墙 9.8.9

系统版本：Debian 12

问题描述：时不时就拦截谷歌的爬虫，同一个爬虫 IP，一会放行，一会拦截。

相关截图（日志、错误）：

根据你提供的日志截图，这个问题是宝塔Nginx防火墙中“蜘蛛IP放行”与“禁止海外访问”功能冲突导致的，这属于已知的功能性Bug，要解决这个问题，最直接有效的方法是将Googlebot的IP段加入IP白名单。IP白名单的优先级最高，可以覆盖所有其他拦截规则。
操作路径：宝塔面板 → 安全 → Nginx防火墙 → 全局配置 → IP白名单 → 添加规则。
如果您还有更多问题和疑虑,您可以通过客服咨询宝
塔面板相关问题:https://docs.bt.cn/wechat-service
操作方式:复制链接在微信打开,即可在线咨询客
服。

桥哥 发表于 2026-9-11 11:22
根据你提供的日志截图，这个问题是宝塔Nginx防火墙中“蜘蛛IP放行”与“禁止海外访问”功能冲突导致的，这 ...

【以前】优先级：IP白名单> IP黑名单 > UA白名单 > UA黑名单 > URL关键词拦截 > 单URL CC防御 > URL白名单 > URL黑名单 > 蜘蛛池 > 禁止境外> 禁止国内> 地区限制 > 非浏览器拦截> User-Agent > CC防御 > Cookie > URI过滤 > URL参数 > Thinkphp防御> POST > 网站自定义防御

【现在】优先级：IP白名单 > IP黑名单 > UA白名单 > URL白名单 > UA黑名单 > URL黑名单 > URL关键词拦截 > 单URL CC防御 > 禁止境外 > 禁止国内 > 非浏览器拦截 > User-Agent > CC防御 > Cookie > URI过滤 > URL参数 > Thinkphp防御 > POST > 网站自定义防御

现在的优先级， 没有了“蜘蛛池”。