【已完成】请问下这些ip屏蔽有影响？

查了下基本是谷歌的蜘蛛，请问下会不会造成服务器压力?还有地域屏蔽了除了抓取有什么影响？谢谢

微信截图_20230106213316.png

谢花郎 · 发表于 2023-1-6 22:15:46

您好，没有影响，如您那边有做过seo的话，就有影响。
如果爬虫过多，可以通过robots.txt限制爬虫速率。

宝塔用户_pgcncg · 发表于 2023-1-6 23:23:32

谢花郎发表于 2023-1-6 22:15
您好，没有影响，如您那边有做过seo的话，就有影响。
如果爬虫过多，可以通过robots.txt限制爬虫速率。 ...

你好会影响网站谷歌广告投放？不影响我就地域屏蔽了，太恶心了~

宝塔用户_pgcncg · 发表于 2023-1-6 23:25:56

谢花郎发表于 2023-1-6 22:15
您好，没有影响，如您那边有做过seo的话，就有影响。
如果爬虫过多，可以通过robots.txt限制爬虫速率。 ...

不好意思我在确认下这爬虫不会占用服务器资源或者性能啥的吗？谢谢

谢花郎 · 发表于 2023-1-6 23:40:52

宝塔用户_pgcncg 发表于 2023-1-6 23:23
你好会影响网站谷歌广告投放？不影响我就地域屏蔽了，太恶心了~

肯定会有影响的，robots去限制爬虫频率

爬虫过多肯定会占用服务器性能的

宝塔用户_pgcncg · 发表于 2023-1-7 00:03:54

谢花郎发表于 2023-1-6 23:40
肯定会有影响的，robots去限制爬虫频率

爬虫过多肯定会占用服务器性能的 ...

好的谢谢~~