宝塔用户_xqmvxp 发表于 2025-5-4 04:22:24

【已解答】蜘蛛池缺少yandex, chatgpt 等,另外能否排除不想要的

蛛池缺少yandex, chatgpt 等,另外能否排除不想要的蜘蛛.

宝塔用户_xqmvxp 发表于 2025-5-5 03:50:46

随便翻了翻， 太多了，我把FACEBOOK的蜘蛛都误杀了，只是因为他不在蜘蛛池中

宝塔能知道它是FACEBOOK蜘蛛：位置: 北美洲 美国 俄勒冈州 普赖恩维尔 经纬度坐标: -125.19 44.05
蜘蛛：Facebook蜘蛛

阿珂 发表于 2025-5-7 10:07:17

排除蜘蛛，可以在nginx防火墙蜘蛛池关闭对应的蜘蛛
yandex这些蜘蛛暂时不会增加

宝塔用户_xqmvxp 发表于 2025-5-9 01:16:04

宝塔用户_xqmvxp 发表于 2025-5-5 03:50
随便翻了翻， 太多了，我把FACEBOOK的蜘蛛都误杀了，只是因为他不在蜘蛛池中

宝塔能知道它是FACEBOOK蜘蛛 ...

我意思是 蜘蛛池已有的蜘蛛可以禁止,这很简单,但 主流的 facebook,apple, openai, yandex被防火墙封了,怎么办 ?

宝塔用户_xqmvxp 发表于 2025-5-9 01:18:35

阿珂 发表于 2025-5-7 10:07
排除蜘蛛，可以在nginx防火墙蜘蛛池关闭对应的蜘蛛
yandex这些蜘蛛暂时不会增加
...

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/* Safari/537.36; compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot


这个就被防火墙封了,还有 APPLE 蜘蛛一来就封,facebook蜘蛛,都被封

阿珂 发表于 2025-5-10 11:23:57

需要放行的蜘蛛，可以将ua加入ua白名单
页: [1]
查看完整版本: 【已解答】蜘蛛池缺少yandex, chatgpt 等,另外能否排除不想要的