宝塔用户_zgdhko 发表于 2022-11-1 07:33:49

【已解答】Apache如何拦截无效爬虫呢

"Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Mobile Safari/537.36"
185.191.171.5 - - "GET /index.php/item/id/648648047396.html HTTP/1.1" 404 489 "-" "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)"网站老是被这个【semrush】爬，占了好多资源。Apache服务器如何屏蔽掉它呢

南南呦 发表于 2022-11-1 09:16:30

您好，您是否安装apache防火墙？防火墙是可以自动拦截假蜘蛛的

宝塔用户_zgdhko 发表于 2022-11-2 09:19:31

堡塔运维向樛木 发表于 2022-11-1 09:16
您好，您是否安装apache防火墙？防火墙是可以自动拦截假蜘蛛的

768一年的那个吗？

南南呦 发表于 2022-11-4 17:53:46

宝塔用户_zgdhko 发表于 2022-11-2 09:19
768一年的那个吗？

专业版可以免费使用这个插件，您也可以只购买插件
页: [1]
查看完整版本: 【已解答】Apache如何拦截无效爬虫呢