【待反馈】如何限制爬虫的频率？
如何限制爬虫的频率？我的网站，既要爬虫爬取一些页面，
但是，又不想爬虫太频繁了。
太频繁的话，导致网站非常卡，卡的怀疑人生。
你们看，这个必应，每分钟都来，每分钟爬取十几个页面。。
这个频率太高了，我想限制爬虫频率，比如5分钟爬取一次，频率超过设定的值，
就封禁这个爬虫1个小时。
综上，请问在哪里可以限制爬虫的爬取频率，或者说，怎么设置，才能达到效果。
您好，您可以通过这个ip来做一个攻击次数限制，在nginx防火墙中设置，达到多少次后可以封禁多长时间
页:
[1]