【已解答】有些蜘蛛没有纳入可能导致被拒绝访问

偶尔看以下日志

比如 Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/* Safari/537.36; compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot

互联网上主流的 facebook蜘蛛，yandex蜘蛛等等都可能被当作自动脚本拒绝了。

能否蜘蛛池允许拒绝没用的蜘蛛比如百度 360等。

阿珂 · 发表于 5 天前

取消蜘蛛，可以在nginx防火墙里面

需要放行的蜘蛛，可以将ua加入ua白名单

宝塔用户_xqmvxp · 发表于 3 天前

阿珂发表于 2025-5-7 10:25
取消蜘蛛，可以在nginx防火墙里面
需要放行的蜘蛛，可以将ua加入ua白名单

蜘蛛池不可以有 OPENAI, FACEBOOK, YANDEX吗, 怎么收集放行呢,那蜘蛛池什么作用呢 ?

宝塔用户_xqmvxp · 发表于 3 天前

阿珂发表于 2025-5-7 10:25
取消蜘蛛，可以在nginx防火墙里面
需要放行的蜘蛛，可以将ua加入ua白名单

取消某蜘蛛的界面是哪里进的,没有找到这个界面

宝塔用户_xqmvxp · 发表于 3 天前

阿珂发表于 2025-5-7 10:25
取消蜘蛛，可以在nginx防火墙里面
需要放行的蜘蛛，可以将ua加入ua白名单

我意思是我能够关掉蜘蛛池已经有的蜘蛛,但主流的蜘蛛没有怎么办, FACEBOOK, OPENAI, 苹果蜘蛛,YANDEX都被封了,因为开启了防火墙

阿珂 · 发表于前天 11:23

需要放行的蜘蛛，可以将ua加入ua白名单

█ 菠萝云-主机特惠16G内存100元 █	【阿里云】低至5折	APP分发-无行业限制免审核	16核16G高防189元	【多途云】高防CDN
高防服务器，无视一切流量攻击	A7招租，联系qq394030111	香港站群金牌Gold 6138大促销	【阿里云】宝塔一键部署，低至5折	OV/EV SSL证书，可当日签发
█ 易探云·香港/美国vps仅9元 █	CDN无视各类攻击\|无效退款	OV/EV SSL证书，可当日签发	【云防护】专注域名和网站安全防护	AWS CDN 4分，多家公有云代理