【已解答】网站蜘蛛量过大过频繁咋搞！

网站蜘蛛量过大过频繁咋搞！

目前看到百度 360 头条还有其他

百度 360 头条最严重，每秒都一堆ip 如何控制频率或者减少，我在百度360头条推送网站设置减少蜘蛛量没用。

盏尽 · 发表于 2023-2-25 16:08:46

您好，默认情况下，开启网站防火墙增强模式+非浏览器访问拦截，会自动屏蔽蜘蛛

BAOt啊 · 发表于 2023-2-25 16:13:05

堡塔运维盏尽发表于 2023-2-25 16:08
您好，默认情况下，开启网站防火墙增强模式+非浏览器访问拦截，会自动屏蔽蜘蛛 ...

我要减少数量啊不是全部干掉啊，全部干掉了，不行的

盏尽 · 发表于 2023-2-25 16:50:59

您可以尝试通过robots进行限制蜘蛛的爬取，具体你可以搜索引擎找一下配置

BAOt啊 · 发表于 2023-2-25 17:03:53

堡塔运维盏尽发表于 2023-2-25 16:50
您可以尝试通过robots进行限制蜘蛛的爬取，具体你可以搜索引擎找一下配置

蜘蛛是已经爬取了，在robots我屏蔽所有百度蜘蛛，都是无用因为蜘蛛已经在爬各个页面了。

大炮运维V587 · 发表于 2023-2-26 18:00:32

您好，您可以在这里配置下流量控制，是否能满足您的需求

【已解答】网站蜘蛛量过大过频繁 咋搞！