824144512 发表于 2025-5-28 17:11:13

【已解答】咨询下怎么限制爬虫频率

为了能快速了解并处理您的问题，请提供以下基础信息：面板、插件版本：9.6.0
系统版本：CentOS 7
问题描述：最近网站被必应/360爬崩了，一天能来十多万蜘蛛，有时候还一起来，服务器直接崩了，想请教下，有没有办法限制蜘蛛的数量和频率，现在只能把必应和360的蜘蛛在防火墙里面都拦截了，但是这样做索引就会被清空，防火墙能否有规则限制蜘蛛爬取数量和频率，还避免被爬崩以及不被清空索引
相关截图（日志、错误）：

阿珂 发表于 2025-5-29 09:26:55

可以设置一下流量限制看看
页: [1]
查看完整版本: 【已解答】咨询下怎么限制爬虫频率