【已解答】网站爬虫太多，频率太高，怎么办？

网站爬虫太多，频率太高，怎么办？我一个小破站，在线人数经常超过100多，但是真正的会员，只有几个人在线。
实际上全都是爬虫。。。。
如下图，这仅仅是bing一家的爬虫，频率就这么高，导致我网站卡的要死。。





请问如何彻底的解决这个问题，如何在Nginx里面设置，可以限制某个特定的爬虫进来，
或者限制某些爬虫的爬取频率，比如设置2分钟只能爬取1次。。

这个并不高啊，是不是服务器配置太低了，当然bing如果没用也可以禁止抓取

如果不需要的话， 可以用nginx防火墙，关闭蜘蛛
nginx配置可以参考：

1.     if ($http_user_agent ~* (bingbot|msnbot)) {
   
2.         return 403;  # 返回403禁止访问
   
3.     }

复制代码