【已回应】宝塔面板里的 Nginx 防火墙插件 拦截搜索引擎蜘蛛

Nginx 防火墙插件，一般没有渗透攻击和CC攻击的情况下，真不建议开启，自从使用专业版后，基本每台服务器都开启防火墙，观察了近1个月，发现我的很多之前秒收录的站，收录掉的厉害，几乎当天不怎么收录了，权重也掉的厉害，一直以为是网站SEO方面和采集的问题，可找了一段时间问题没找到，也没太关心。今天抽空又排查了一遍 网站日志和服务器日志，发现大量拦截搜索蜘蛛。。晚上把防火墙全部卸载关掉，再测试观察下。

建议：如果非要开启防火墙插件，建议再 IP 白名单里，把搜索引擎蜘蛛的 IP 段添加进去。 这东东建议没攻击的情况下还是不开的好， 实在是过滤太严格了。
或者，你手动能力强，又 Linux 维护能力，那你随便开着用。。
不会的开了，你就等着网站权重和收录下滑吧。

建议，官网给防火墙插件增加一个 搜索引擎 屏蔽和 不屏蔽的功能。 虽然现在很多软件可以伪造 搜索引擎 UA 头。但是还是尽量想办法解决吧。
本来防火墙是个好东东，现在搞得过滤这么复杂。小白就头疼了。

能不能把搜索引擎的蜘蛛IP放出来，我们自己设置一下

升级到最新版的防火墙，已经放行蜘蛛爬虫

大炮运维V587 发表于 2019-2-22 11:33
升级到最新版的防火墙，已经放行蜘蛛爬虫

我来反馈下，从昨天后半夜关掉防火墙后，更新网站一定数据，想百度提交数据，经过截至到现在测试后发现，确实关掉防火墙后，之前停收录的网站(或者每天只有几条收录/之前大量收录) 已经逐步恢复收录数量，至少是 几十条了。

通过测试，和日志查看分析，确定是 官方 Nginx 防火墙插件 拦截百度蜘蛛的问题。规则太严格了。

感谢官网解决这个问题，这速度好快。。谢谢。。
我从新开启了防火墙，把规则改动了下，百度蜘蛛的IP段加入了白名单。。目前观察百度蜘蛛抓取页面 200 状态码的日志明显恢复暴增。

lvan 发表于 2019-2-22 13:19
我来反馈下，从昨天后半夜关掉防火墙后，更新网站一定数据，想百度提交数据，经过截至到现在测试后发现， ...

老板过奖了，要及时留意官方更新动态。

宝塔怎么开蜘蛛搜索啊，安装Nginx 防火墙插件还是 网站监控表

dragon1919 发表于 2020-1-3 13:32
宝塔怎么开蜘蛛搜索啊，安装Nginx 防火墙插件还是 网站监控表

默认就是放行的