mingrui 发表于 2024-12-4 21:14:11

【已解答】如何屏蔽全部蜘蛛访问网站

为了能快速了解并处理您的问题，请提供以下基础信息：面板、插件版本：9.2.0，网站监控报表3.8
系统版本：CentOS 7.9.2009 x86_64(Py3.7.9)
问题描述：有个企业网站，正常日访问IP不超过10个，最近一段时间流量暴增，查看日志发现99.9%的都是蜘蛛，海外IP，伪装蜘蛛等。如何屏蔽全部蜘蛛访问网站呢？我设置的Robots.txt也没效果。
相关截图（日志、错误）：

大炮运维V587 发表于 2024-12-5 09:34:59

您好，Nginx 防火墙安装最新的，然后开启防爬虫功能
使用教程如下
https://www.bt.cn/bbs/thread-139641-1-1.html

mingrui 发表于 2024-12-6 09:48:52

按照教程开启了防爬虫功能，之前开启过禁止国外访问，不起作用。
页: [1]
查看完整版本: 【已解答】如何屏蔽全部蜘蛛访问网站