【已解答】防火墙如何屏蔽必应蜘蛛

防火墙怎么屏蔽必应蜘蛛，怎么我设置了User-Agent过滤，还是屏蔽不了呢

设置了User-Agent过滤后，日志里还是有必应蜘蛛访问记录。

谢花郎 · 发表于 2022-10-28 18:41:29

您好，Nginx/apache防火墙默认放行蜘蛛的，您那边是因为必应蜘蛛爬取频率太高了导致服务器资源使用过高的话
可以考虑下通过robots.txt文件进行限制

宝塔用户_zftlnc · 发表于 2022-10-28 18:47:09

谢花郎发表于 2022-10-28 18:41
您好，Nginx/apache防火墙默认放行蜘蛛的，您那边是因为必应蜘蛛爬取频率太高了导致服务器资源使用过高的话 ...

Nginx防火墙里不是也可以设置吗，为何不生效

宝塔用户_zftlnc · 发表于 2022-10-28 19:05:12

谢花郎发表于 2022-10-28 18:41
您好，Nginx/apache防火墙默认放行蜘蛛的，您那边是因为必应蜘蛛爬取频率太高了导致服务器资源使用过高的话 ...

按照你说的这种蜘蛛池屏蔽抓取的方法，也同样不行，屏蔽不了

谢花郎 · 发表于 2022-10-28 20:00:27

宝塔用户_zftlnc 发表于 2022-10-28 19:05
按照你说的这种蜘蛛池屏蔽抓取的方法，也同样不行，屏蔽不了

网站日志内的返回状态码是200还是444？

宝塔用户_zftlnc · 发表于 2022-10-28 21:49:44

谢花郎发表于 2022-10-28 20:00
网站日志内的返回状态码是200还是444？

返回状态码200哦

谢花郎 · 发表于 2022-10-29 10:21:55

宝塔用户_zftlnc 发表于 2022-10-28 21:49
返回状态码200哦

周一时我会向开发反馈下，或者您留下联系方式。

宝塔用户_zftlnc · 发表于 2022-10-29 11:03:00

谢花郎发表于 2022-10-29 10:21
周一时我会向开发反馈下，或者您留下联系方式。

QQ：317197518

谢花郎 · 发表于 2022-10-29 14:15:54

宝塔用户_zftlnc 发表于 2022-10-29 11:03
QQ：317197518

已添加，注意添加信息。