【已解答】Ningx防火墙，能否自定义拦截Bing蜘蛛的规则？

  最近Bing蜘蛛爬网站爬得太凶了，每天上百万次，导致高峰时小水管服务器有点卡，资源紧张。  又不能把它禁掉。    已经去调整bing网站管理后台的爬虫频率，  但是过了半个月了，它依旧每日还是来上百万次。

  想通过Ningx防火墙来限制它一下，这货太猖狂了。

看了https://www.bt.cn/bbs/thread-72613-1-1.html

CC请求类型说明，我是否可以设置“请求类型”为IP+UA。  限制每秒请求数？但帖子中说只适用于API 网站？

好像都没法实现我要的功能。

南南呦 · 发表于 2022-3-16 22:56:01

现在防火墙有拦截蜘蛛的功能哦！

大炮运维V587 · 发表于 2022-3-16 23:15:02

您好，bing的蜘蛛是您自己的正常蜘蛛吗？
不是的话，建议在ua黑名单中将bing的蜘蛛特征拉黑
bingbot/2.0

或者在服务器的系统防火墙，将bing的蜘蛛段拉黑
157.55.39.97 ~ 157.55.39.98
40.77.167.36 ~ 40.77.167.87
207.46.13.1 ~ 207.46.13.255
这个ip段不一定100%的完整

JackRebel · 发表于 2022-3-17 10:58:40

大炮运维V587 发表于 2022-3-16 23:15
您好，bing的蜘蛛是您自己的正常蜘蛛吗？
不是的话，建议在ua黑名单中将bing的蜘蛛特征拉黑
bingbot/2.0

我同步过蜘蛛IP段， 40.77.167.65 是这个段内的。

我不想禁止它，而是想限制它。

堡塔技术阿宏 · 发表于 2022-3-17 17:21:08

JackRebel 发表于 2022-3-17 10:58
我同步过蜘蛛IP段， 40.77.167.65 是这个段内的。

我不想禁止它，而是想限制它。 ...

您说的限制是部分限制？类似灰名单？
麻烦详细描述下您的需求

JackRebel · 发表于 2022-3-21 16:24:21

运维阿宏发表于 2022-3-17 17:21
您说的限制是部分限制？类似灰名单？
麻烦详细描述下您的需求

类似防CC的功能，把它的UA加进去，想用防cc控制它的访问频率，一分钟不能超过我设置的阀值。

大炮运维V587 · 发表于 2022-3-22 21:34:26

JackRebel 发表于 2022-3-21 16:24
类似防CC的功能，把它的UA加进去，想用防cc控制它的访问频率，一分钟不能超过我设置的阀值。 ...

你可以在cc功能那里设置访问频率，来限制访问当然也包括蜘蛛

█菠萝云买2送1活动！12G内存99元	阿里云国际低折扣多云自助平台	APP分发-无行业限制免审核	A4招租，联系qq394030111	A5招租，联系qq394030111
高防服务器，无视一切流量攻击	【阿里云】宝塔一键部署，低至5折	A8招租，联系qq394030111	【阿里云】宝塔一键部署，低至5折	OV/EV SSL证书，可当日签发
█ 易探云·香港/美国vps仅9元 █	▶CPS云◀海外大带宽vps服务器	OV/EV SSL证书，可当日签发	【云防护】专注域名和网站安全防护	A15招租，联系qq394030111

【已解答】Ningx防火墙， 能否自定义拦截Bing蜘蛛的规则？

【已解答】Ningx防火墙，能否自定义拦截Bing蜘蛛的规则？