【已解决】请求防火墙，防蜘蛛问题。

专业防火墙开启标准模式，服务器被蜘蛛抓死，增强模式，蜘蛛进不来，有没有办法，搞个增强模式，让蜘蛛部分轮流进来。

堡塔技术阿宏 · 发表于 2021-9-17 21:18:31

您好，国内蜘蛛，默认是放行的。请问是什么蜘蛛？
如果是误拦截，请提供误拦截截图看看。另外，您的防火墙是哪个版本？

xatbzs · 发表于 2021-9-17 21:54:22

运维阿宏发表于 2021-9-17 21:18
您好，国内蜘蛛，默认是放行的。请问是什么蜘蛛？
如果是误拦截，请提供误拦截截图看看。另外，您的防火墙 ...

8.9.4 百度的，增强模式，蜘蛛就进不来。

宝塔用户_ulxqqt · 发表于 2021-9-18 07:10:35

同问，我也遇到这个问题，只有才蜘蛛都屏蔽，感觉还是不行

宝塔用户_ulxqqt · 发表于 2021-9-18 12:53:51

xaxqshw 发表于 2021-9-17 21:54
8.9.4 百度的，增强模式，蜘蛛就进不来。

同问，服务器被蜘蛛抓得cpu100%，开启人机验证后有时用户又没办法访问网站，不开服务器抗不住

大炮运维V587 · 发表于 2021-9-23 12:05:17

xaxqshw 发表于 2021-9-17 21:54
8.9.4 百度的，增强模式，蜘蛛就进不来。

您好，增强模式下是防蜘蛛的，这个模式比较特殊，是根据规则来进行屏蔽的，如果您的服务器被出现大量的CC才建议开启增强模式的。

大炮运维V587 · 发表于 2021-9-23 12:06:24

宝塔用户_ulxqqt 发表于 2021-9-18 12:53
同问，服务器被蜘蛛抓得cpu100%，开启人机验证后有时用户又没办法访问网站，不开服务器抗不住 ...

在您不升级配置（cpu|内存|网络）的前提下，开启增强模式是目前我遇到的最好的解决方案。

xatbzs · 发表于 2021-9-23 19:00:31

大炮运维V587 发表于 2021-9-23 12:06
在您不升级配置（cpu|内存|网络）的前提下，开启增强模式是目前我遇到的最好的解决方案。
...

我就奇怪了，百度蜘蛛竟然能把一个网站抓死，我2H4G的。

堡塔开发wzz · 发表于 2021-9-24 14:48:59

xaxqshw 发表于 2021-9-23 19:00
我就奇怪了，百度蜘蛛竟然能把一个网站抓死，我2H4G的。

正常现象，大量蜘蛛到访，策略没做好就会出现此情况；如果不想要百度蜘蛛来的太多，就隔段时间将百度蜘蛛拉黑，想要时再放出来，nginx防火墙ua黑名单可以操作；

另外，cc防御规则增强模式也是一种好方法