宝塔51特惠活动,企业版1099元/年,送SSL证书,最高立减2万元!查看活动
当前位置:论坛首页 > Linux面板 > 求助

【已解决】用的是免费最新版本,蜘蛛抓取工具抓取不正...

发表在 Linux面板2025-4-20 13:36  关闭 [复制链接] 1 134

为了能快速了解并处理您的问题,请提供以下基础信息:
面板、插件版本:免费最新版

系统版本:

问题描述:

相关截图(日志、错误):百度站长平台测试抓取内容页,抓取成功,但问题是抓取出来的页面是首页,并且是前几天的的首页,现在的首页已经修改过了。问题是手动访问这个内容页是正常的页面, 就是说,蜘蛛模拟抓取和手动访问的不是一个页面,最近一个月收录掉了很多了。即将收录归零。我想问这种手动访问和模拟蜘蛛抓取显示不一样是什么原因导致的?

使用道具 举报 只看该作者 回复
发表于 2025-4-21 01:07:07 | 显示全部楼层
已经解决,原因是网站源代码被修改了。
使用道具 举报 回复 支持 反对
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

普通问题处理

论坛响应时间:72小时

问题处理方式:排队(仅解答)

工作时间:白班:9:00 - 18:00

紧急运维服务

响应时间:3分钟

问题处理方式:宝塔专家1对1服务

工作时间:工作日:9:00 - 18:30

宝塔专业团队为您解决服务器疑难问题

点击联系技术免费分析
快速回复 返回顶部 返回列表