宝塔官网 IDC推荐宝塔币商城邀请大使

【菠萝云】免费装宝塔,4G内存68	★美国CN2高防服务器★打死退款★	★香港CN2云/站群/高防/特价机★	【滴盾】高防服务器专抗DDOS	【多途云】高防CDN
高防服务器，无视一切流量攻击	SSL证书，防止数据被劫持	OV/EV SSL证书，可当日签发	宝塔一键部署DV,EV,OV,SSL证书	A10招租，联系qq394030111
★易探云.香港/美国/国内/游戏云★	【苍穹云】高性能云服务器 1.2折起	【迅线云盒】内网穿透-固定公网IP	高防服务器40核 64G 20M 199/月	【恒爱云】香港低至8元1核1G2M

当前位置：论坛首页 > BUG提交 > Linux面板

【已解答】nginx防火墙的这条规则把 baidu蜘蛛拦截了

fanshui发表在 BUG提交2020-8-12 11:26 [复制链接] 2 4882

我发现 nginx防火墙的这条规则把 baidu蜘蛛拦截了，关了这条规则就抓取成功了

(HTTrack|antSword|harvest|audit|dirbuster|pangolin|nmap|sqln|hydra|Parser|libwww|BBBike|sqlmap|w3af|owasp|Nikto|fimap|havij|zmeu|BabyKrokodil|netsparker|httperf| SF/)

使用道具举报只看该作者回复

发表于 2020-8-12 11:41:08 | 显示全部楼层

本帖最后由 fanshui 于 2020-8-12 14:21 编辑

使用道具举报回复支持反对

宝塔技术-小强

发表于 2020-8-12 16:06:41 | 显示全部楼层

那个UA 那个不会拦截百度蜘蛛的。蜘蛛都是走的白名单都不会进行拦截操作的。

如果是模拟的蜘蛛那么可能很大程度是被CC拦截的

使用道具举报回复支持反对

企业版年付运维跟进群

普通问题处理

论坛响应时间：72小时

问题处理方式：排队(仅解答)

工作时间：白班：9：00 - 18：00

紧急问题处理

论坛响应时间：10分钟

问题处理方式：1对1处理（优先）

工作时间：白班：9：00 - 18：00

工作时间：晚班：18：00 - 24：00

立即付费处理

这是宝塔logo

运维要高效，装宝塔

《开源许可协议》 | 《用户协议》 | 《隐私声明》 |

高新技术企业编号GR201944000059|粤B2-20201398|粤ICP备17030143号|粤公网安备44190002003211号

Copyright © 2021 宝塔面板|让运维简单高效(www.bt.cn) 广东堡塔安全技术有限公司 Powered by Discuz! X3.4Rights Reserved

违法网站请勿向我司工作人员发起任何形式的人工服务请求，严禁使用宝塔面板从事任何非法活动 | 违规信息举报入口 | 中国互联网举报中心

快速回复 返回顶部 返回列表