【已解答】网站爬虫太多，频率太高，怎么办？
网站爬虫太多，频率太高，怎么办？我一个小破站，在线人数经常超过100多，但是真正的会员，只有几个人在线。实际上全都是爬虫。。。。
如下图，这仅仅是bing一家的爬虫，频率就这么高，导致我网站卡的要死。。
请问如何彻底的解决这个问题，如何在Nginx里面设置，可以限制某个特定的爬虫进来，
或者限制某些爬虫的爬取频率，比如设置2分钟只能爬取1次。。
这个并不高啊，是不是服务器配置太低了，当然bing如果没用也可以禁止抓取 如果不需要的话， 可以用nginx防火墙，关闭蜘蛛
nginx配置可以参考：
if ($http_user_agent ~* (bingbot|msnbot)) {
return 403;# 返回403禁止访问
}
页:
[1]