当前位置:论坛首页 > Linux面板 > 求助

【已回应】百度抓取失败,403页面

发表在 Linux面板2020-6-6 16:46 [复制链接] 2 1284

之前面板安装了Nginx免费防火墙和openrasp管理器。结果网站流量暴跌,最近发现网站百度蜘蛛都抓取不了,页面全部403
电脑上浏览器正常访问是没问题的。
百度抓取显示:
QQ图片20200606164434.png
卸载openrasp管理器按https://www.bt.cn/bbs/thread-42487-1-1.html这个帖子操作,但是打开页面还是显示错误,最后在PHP.INI里删除了下面这一段
  1. ;OPENRASP BEGIN
  2.         
  3. extension=openrasp.so
  4. openrasp.root_dir=/opt/rasp_php53
  5.         
  6. ;国际化配置
  7. ;openrasp.locale=

  8. ;云端地址
  9. openrasp.backend_url=

  10. ;agent app_id
  11. openrasp.app_id=

  12. ;agent secret
  13. openrasp.app_secret=

  14. ;agent rasp_id
  15. openrasp.rasp_id=

  16. ;远程管理开关
  17. openrasp.remote_management_enable=0

  18. ;心跳时间间隔
  19. openrasp.heartbeat_interval=180

  20. ;SSL证书验证开关
  21. openrasp.ssl_verifypeer=0

  22. ;IAST开关
  23. openrasp.iast_enable=0
  24.         
  25. ;OPENRASP END
复制代码
重启php之后线抓取显示
微信截图_20200606163652.png

这个什么原因,,,还是抓取失败。。。。
真是坑人在这玩意
使用道具 举报 只看该作者 回复
发表于 2020-6-6 18:04:34 | 显示全部楼层
openrasp  是百度的...
你这个403,你确定不是CF返回的?
我猜你是 INCOME -> CF -> WAF ? -> PHP (openrasp)。
你整个连路都不清楚,让人怎么回答你?
还有openrasp 运行原理和WAF不一样,openrasp出错的话没记错是跳去百度的页面。
你这个90%是waf类的拦截了,估计是请求频率过高。
你上了waf,又上CDN,除非设置白名单,否则很容易误伤。
使用道具 举报 回复 支持 反对
发表于 2020-6-6 18:16:41 | 显示全部楼层
您好,经联系排查,同时openrasp和nginx免费防火墙这两个插件是不会拦截的,另外nginx免费防火墙是有设置蜘蛛放行的。可以排除这两个插件,另外文件权限以及所属组重新给www用户和755,curl访问就会提示403权限错误,目前不知道什么问题引起,未解决。
使用道具 举报 回复 支持 反对
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

普通问题处理

论坛响应时间:72小时

问题处理方式:排队(仅解答)

工作时间:白班:9:00 - 18:00

紧急运维服务

响应时间:3分钟

问题处理方式:宝塔专家1对1服务

工作时间:工作日:9:00 - 18:30

宝塔专业团队为您解决服务器疑难问题

点击联系技术免费分析

工作时间:09:00至18:30

快速回复 返回顶部 返回列表