宝塔用户_xqmvxp 发表于 2025-5-5 13:04:15

【已解答】有些蜘蛛没有纳入可能导致被拒绝访问

偶尔看以下日志

比如Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/* Safari/537.36; compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot


互联网上主流的facebook蜘蛛，yandex蜘蛛 等等都可能被当作自动脚本拒绝了。


能否蜘蛛池允许拒绝没用的蜘蛛比如百度 360等。

阿珂 发表于 2025-5-7 10:25:36

取消蜘蛛，可以在nginx防火墙里面
需要放行的蜘蛛，可以将ua加入ua白名单

宝塔用户_xqmvxp 发表于 2025-5-9 01:04:24

阿珂 发表于 2025-5-7 10:25
取消蜘蛛，可以在nginx防火墙里面
需要放行的蜘蛛，可以将ua加入ua白名单

蜘蛛池不可以有 OPENAI, FACEBOOK, YANDEX吗, 怎么收集放行呢,那蜘蛛池什么作用呢 ?

宝塔用户_xqmvxp 发表于 2025-5-9 01:09:15

阿珂 发表于 2025-5-7 10:25
取消蜘蛛，可以在nginx防火墙里面
需要放行的蜘蛛，可以将ua加入ua白名单

取消某蜘蛛的界面是哪里进的,没有找到这个界面

宝塔用户_xqmvxp 发表于 2025-5-9 01:14:35

阿珂 发表于 2025-5-7 10:25
取消蜘蛛，可以在nginx防火墙里面
需要放行的蜘蛛，可以将ua加入ua白名单

我意思是我能够关掉蜘蛛池已经有的蜘蛛,但 主流的蜘蛛没有怎么办, FACEBOOK, OPENAI, 苹果蜘蛛,YANDEX都被封了,因为开启了防火墙

阿珂 发表于 2025-5-10 11:23:45

需要放行的蜘蛛，可以将ua加入ua白名单
页: [1]
查看完整版本: 【已解答】有些蜘蛛没有纳入可能导致被拒绝访问