【已解答】咨询下怎么限制爬虫频率

为了能快速了解并处理您的问题，请提供以下基础信息：

面板、插件版本：9.6.0

系统版本：CentOS 7

问题描述：最近网站被必应/360爬崩了，一天能来十多万蜘蛛，有时候还一起来，服务器直接崩了，想请教下，有没有办法限制蜘蛛的数量和频率，现在只能把必应和360的蜘蛛在防火墙里面都拦截了，但是这样做索引就会被清空，防火墙能否有规则限制蜘蛛爬取数量和频率，还避免被爬崩以及不被清空索引

相关截图（日志、错误）：

可以设置一下流量限制看看