【已完成】被谷歌蜘蛛搞崩溃了，怎么屏蔽谷歌蜘蛛阿？

谷歌蜘蛛天天爬几万条，服务器都被搞死了，有没有办法屏蔽谷歌蜘蛛或者直接屏蔽所有国外ip呢？我用的是apache，在百度谷歌找了好久都没找到解决方法，屏蔽谷歌蜘蛛的ip也不行，这咋办呀

实在是被整得没办法了，robot文档也改了，蜘蛛ip也屏蔽了，还是天天爬。。。

通长我们看到的google蜘蛛是66.249.68.*和66.249.79.*，又是为了省事我们会直接屏蔽66.249段的蜘蛛。我们在宝塔的软件商店中，在系统工具分类下，下载系统防火墙插件，使用该插件的IP规格进行蜘蛛的屏蔽。如下图所示填写规则，我们进行谷歌蜘蛛的屏蔽，提交任务即可。

您好，您可以参考二楼直接屏蔽谷歌蜘蛛IP，或者直接在apache配置UA访问访问

具体文档如下

1. https://httpd.apache.org/docs/2.4/zh-cn/mod/mod_rewrite.html#rewritecond
   
2. https://httpd.apache.org/docs/2.4/zh-cn/mod/mod_setenvif.html#setenvif

复制代码

谢花郎 发表于 2021-12-8 14:28
您好，您可以参考二楼直接屏蔽谷歌蜘蛛IP，或者直接在apache配置UA访问访问

具体文档如下

防火墙屏蔽谷歌ip不行，，我早就试了，配置UA我在.htaccess 加上下面这段代码可以吗？
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Googlebot* [NC]
RewriteRule ^(.*)$ - [G]  
</IfModule>

qaz123 发表于 2021-12-9 16:14
防火墙屏蔽谷歌ip不行，，我早就试了，配置UA我在.htaccess 加上下面这段代码可以吗？

RewriteEngine On ...

可以，你加一下然后重启apache看下

谢花郎 发表于 2021-12-9 16:23
可以，你加一下然后重启apache看下

不行啊，老哥，我服务器现在还是被爬死了，防不住谷歌蜘蛛，这该咋办

谢花郎 发表于 2021-12-9 16:23
可以，你加一下然后重启apache看下

是不是我改错了，这里面之前有一些内容，是不是我给弄错了阿
这是之前的内容
<IfModule mod_rewrite.c>
Options +FollowSymlinks -Multiviews
RewriteEngine on

RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^(.*)$ index.php?/$1 [QSA,PT,L]
</IfModule>

这是我改了之后的内容
<IfModule mod_rewrite.c>
Options +FollowSymlinks -Multiviews
RewriteEngine on

RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^(.*)$ index.php?/$1 [QSA,PT,L]

RewriteCond %{HTTP_USER_AGENT} ^Googlebot* [NC]
RewriteRule ^(.*)$ - [G]
</IfModule>

如果以后不想要屏蔽相关的蜘蛛，可以去防火墙将蜘蛛的UA添加得到UA黑名单即可，apache防火墙设置方法相同