【已解答】防火墙规则的恶意爬虫拦截是优先于IP白名单吗？

为了能快速了解并处理您的问题，请提供以下基础信息：

面板、插件版本：面板版本 8.0 防火墙版本 9.1.9

问题描述：

网络结构如下：蜘蛛访问--->A机(前端机，反代到B机)--->B机（数据机）

问题：

B机上已经添加A机的IP为白名单，依然会封锁A机的IP，理由是：恶意爬虫

A机做为nginx前端机，反代指向B机，AB机上均安装有防火墙9.1.9，B机上，将A机的IP添加为IP白名单，此时，有恶意蜘蛛高速访问A机，依然会导致B机封锁A机的IP。

已经手动解封过IP，白名单添加IP段或添加单独IP ，重启nginx，重启防火墙，均不生效，依然会拦截。更奇怪的是，拦截日志中，所指的爬虫也没有在我设置的拦截范围内。这是把A机直接当爬虫处理了吗？

相关截图（日志、错误）：

只要打开 恶意爬虫防御 功能就会被拦截A机IP，关闭 恶意爬虫防御 功能，把 恶意爬虫的UA加到 UA黑名单就不会拦截A机IP

您好，根据您的问题描述，A机是前端机，反代到B机，B机上已经将A机的IP添加为白名单，但仍然会导致B机封锁A机的IP。其中，A机是通过nginx进行反向代理到B机的。
可能的原因是B机上的恶意爬虫防御功能导致了A机的IP被拦截。当启用恶意爬虫防御功能时，系统会对访问进行检测，并根据预定义的规则进行拦截。在这种情况下，A机的请求可能会被误判为恶意爬虫，导致被拦截。
您可关闭B机上的恶意爬虫防御功能或者将您A机器的访问UA设置为白名单

堡塔运维盏尽 发表于 2023-7-2 10:20
您好，根据您的问题描述，A机是前端机，反代到B机，B机上已经将A机的IP添加为白名单，但仍然会导致B机封锁A ...

按防火墙上的说法，IP白名单不应该是优先于一切规则的吗？

堡塔运维盏尽 发表于 2023-7-2 10:20
您好，根据您的问题描述，A机是前端机，反代到B机，B机上已经将A机的IP添加为白名单，但仍然会导致B机封锁A ...

防火墙规则上写的是

优先级：IP白名单> IP黑名单 > UA白名单> UA黑名单> URL关键词拦截 > 单URL CC防御 > URL白名单 > URL黑名单 > 蜘蛛池 > 禁止境外> 禁止国内> 地区限制 > 非浏览器拦截> User-Agent > CC防御 > Cookie > URI过滤 > URL参数 > Thinkphp防御> POST > 网站自定义防御

意思是，实际上执行的是这样吗？

优先级：恶意爬虫> IP白名单> IP黑名单 > UA白名单> UA黑名单> URL关键词拦截 > 单URL CC防御 > URL白名单 > URL黑名单 > 蜘蛛池 > 禁止境外> 禁止国内> 地区限制 > 非浏览器拦截> User-Agent > CC防御 > Cookie > URI过滤 > URL参数 > Thinkphp防御> POST > 网站自定义防御

您IP白名单里的规则是否填写无误呢？您可排查一下填写格式是否匹配，除了蜘蛛池里的，默认是白名单最高的，具体优先级如下：
IP白名单> IP黑名单 > UA白名单> UA黑名单> URL关键词拦截 > 单URL CC防御 > URL白名单 > URL黑名单 > 禁止境外> 禁止国内> > 非浏览器拦截> User-Agent > CC防御 > Cookie > URI过滤 > URL参数 > Thinkphp防御> POST > 网站自定义防御