fanshui 发表于 2020-8-12 11:26:16

【已解答】nginx防火墙的这条规则 把 baidu蜘蛛拦截了

我发现nginx防火墙的这条规则 把 baidu蜘蛛拦截了,关了这条规则 就抓取成功了

(HTTrack|antSword|harvest|audit|dirbuster|pangolin|nmap|sqln|hydra|Parser|libwww|BBBike|sqlmap|w3af|owasp|Nikto|fimap|havij|zmeu|BabyKrokodil|netsparker|httperf| SF/)







fanshui 发表于 2020-8-12 11:41:08

本帖最后由 fanshui 于 2020-8-12 14:21 编辑

宝塔技术-小强 发表于 2020-8-12 16:06:41

那个UA 那个不会拦截百度蜘蛛的。蜘蛛都是走的白名单都不会进行拦截操作的。

如果是模拟的蜘蛛那么可能很大程度是被CC拦截的
页: [1]
查看完整版本: 【已解答】nginx防火墙的这条规则 把 baidu蜘蛛拦截了