Diiamo 发表于 2025-7-31 11:32:51

【已解答】蜘蛛拦截是哪个功能？



监控报表显示bing蜘蛛被拦截，提示下面内容。 请问这个“蜘蛛拦截”具体是哪个功能？我只看到有“假蜘蛛”拦截功能，以及网站设置里面蜘蛛池可以设置拦截某些爬虫（我没开这个功能）。

Nginx防火墙拦截
蜘蛛拦截>>该网站已设置禁止必应蜘蛛访问





阿珂 发表于 2025-7-31 14:44:57

nginx防火墙的蜘蛛是默认放行的
取消放行，可以在设置里面

Diiamo 发表于 2025-8-2 11:36:51

阿珂 发表于 2025-7-31 14:44
nginx防火墙的蜘蛛是默认放行的
取消放行，可以在设置里面

我设置了放行，可是bing爬虫被这个规则拦截了· 所以很奇怪。请问为啥？

阿珂 发表于 2025-8-4 12:03:20

Diiamo 发表于 2025-8-2 11:36
我设置了放行，可是bing爬虫被这个规则拦截了· 所以很奇怪。请问为啥？

通过ip反查，检查一下是不是必应的蜘蛛

Diiamo 发表于 2025-8-4 19:50:20

阿珂 发表于 2025-8-4 12:03
通过ip反查，检查一下是不是必应的蜘蛛

防火墙标识为bing蜘蛛，所以应该是把

阿珂 发表于 2025-8-5 11:56:09

不一定的，截图出来看下
页: [1]
查看完整版本: 【已解答】蜘蛛拦截是哪个功能？