当前位置:论坛首页 > Linux面板 > 求助

【已回应】宝塔防火墙开启百度不能抓取源站

发表在 Linux面板2020-1-18 20:52 [复制链接] 1 1231

请教一下,宝塔防火墙开启了,开启后用百度站长里面模拟抓取发现抓取失败,关闭宝塔防火墙后,正常抓取到,请问有什么办法解除这个限制。网站买防火墙肯定是防止攻击,不可能为了防止攻击把百度抓取屏蔽吧,这样防火墙也没啥实质性作用,求解
使用道具 举报 只看该作者 回复
发表于 2020-1-19 09:42:29 | 显示全部楼层
模拟抓取的是假蜘蛛,假蜘蛛防火墙自动屏蔽,会根据ua 和访问的url进行判断蜘蛛的真假,真蜘蛛默认都放行的
使用道具 举报 回复 支持 反对
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

企业版年付运维跟进群

普通问题处理

论坛响应时间:72小时

问题处理方式:排队(仅解答)

工作时间:白班:9:00 - 18:00

紧急问题处理

论坛响应时间:10分钟

问题处理方式:1对1处理(优先)

工作时间:白班:9:00 - 18:00

工作时间:晚班:18:00 - 24:00

立即付费处理
快速回复 返回顶部 返回列表