【已解答】关于禁止谷歌蜘蛛的问题

为了能快速了解并处理您的问题，请提供以下基础信息：

面板、插件版本8.0

系统版本：centos8.2

问题描述：禁止谷歌蜘蛛，是不像下图这样设置这两个UA就行了，这样设置话不会拦截正常用户使用谷歌浏览器登访问吧？

相关截图（日志、错误）：

请问我在UA黑名单设置的这两个UV正确吗，这样会不拦截正常用户使用谷歌浏览器等进行访问？

您好，是的，如果您这样配置是会拦截这个谷歌的蜘蛛的，不会拦截正常用户使用谷歌浏览器访问

堡塔运维小林 发表于 2023-7-3 11:19
您好，是的，如果您这样配置是会拦截这个谷歌的蜘蛛的，不会拦截正常用户使用谷歌浏览器访问 ...

发现抓取的太频繁了，拦截提示分分钟被刷屏。
然后我就在防火墙里全站管理里边的蜘蛛池把谷歌的IP给全部删除了，然后在该站点关闭的谷歌的爬取，我这样操作是争取的吗？
如果这样操作的正确的话，如下图所示还是有漏网之鱼，我直接这样拉黑这个IP可以吗：66.249.66.67/24
楼下附图

堡塔运维小林 发表于 2023-7-3 11:19
您好，是的，如果您这样配置是会拦截这个谷歌的蜘蛛的，不会拦截正常用户使用谷歌浏览器访问 ...

全局设置删除了所有IP

站点关闭的谷歌

但是还有访问

全局蜘蛛池删除了谷歌下面的全部IP，站点关闭了谷歌的爬取，但是还是有谷歌蜘蛛爬取，那么我是否可以直接在黑名单添加IP:66.249.66.67/24  这样可以吗？

宝塔用_3736 发表于 2023-7-3 12:02
全局蜘蛛池删除了谷歌下面的全部IP，站点关闭了谷歌的爬取，但是还是有谷歌蜘蛛爬取，那么我是否可以 ...

您好，防护墙全局设置中的谷歌蜘蛛池下面的IP是表示这些IP属于谷歌的蜘蛛，如果您删除了这些ip，表示这些ip不属于谷歌的蜘蛛，然后您禁止谷歌的蜘蛛爬取是不生效的，因为他没有办法识别这些IP是否是谷歌的蜘蛛，正确的做法应该是直接在防火墙的站点设置中禁止谷歌蜘蛛爬取就行，不需要删除IP。您现在删除了谷歌蜘蛛的IP了，直接把这些ip添加到黑名单中也是可以的，不过后续您需要谷歌蜘蛛爬取，需要去黑名单中删除该IP

堡塔运维小林 发表于 2023-7-3 12:16
您好，防护墙全局设置中的谷歌蜘蛛池下面的IP是表示这些IP属于谷歌的蜘蛛，如果您删除了这些ip，表示这些 ...

可是我已经把IP删除了，那么我在全局设置中的蜘蛛池，点击下同步，刚才已删除的是不是就会恢复出来啊？如果能恢复出来的话，然后在站点中设置禁止爬取就生效了，这样理解对吗？补充：我的站点开启着禁海外呢，按说我在蜘蛛池清空的谷歌的IP，应该拦截才对啊？

宝塔用_3736 发表于 2023-7-3 12:33
可是我已经把IP删除了，那么我在全局设置中的蜘蛛池，点击下同步，刚才已删除的是不是就会恢复出来啊？如 ...

您好，是的，点击同步会重新获取到您删除的IP，然后在站点中设置禁止爬取就可以了。另外禁止海外也不会拦截蜘蛛，默认是放行蜘蛛的