个别正常页面百度蜘蛛抓取路径错误是什么原因

这是正常抓取的情况，GET后面的地址是不带域名的：
[23/Aug/2019:06:52:22 +0800] "GET /1149.html

个别网页可以正常访问，抓取却带了域名导致404：

[23/Aug/2019:05:14:02 +0800] "GET /xxxx/3724.html

还有一个页面，出现了两只蜘蛛抓取完全不同的结果：

[23/Aug/2019:08:17:16 +0800] "GET /3075.html

[23/Aug/2019:03:48:59 +0800] "GET /xxxx/3075.html "

请问这到底是蜘蛛的问题，还是我自己的问题？

hxuf520 · 发表于 2019-8-26 10:59:14

如果不影响收录就没问题。可以去站长平台看看有没有抓取错误。

痞子哥 · 发表于 2019-8-28 15:28:10

用Screaming Frog SEO Spider这个软件自己抓取分析一下。看是不是存在这些404，如果存在那就是你的问题，不是的话，那可能是百度的问题

█菠萝云买2送1活动！12G内存99元	阿里云国际低折扣多云自助平台	APP分发-无行业限制免审核	A4招租，联系qq394030111	A5招租，联系qq394030111
高防服务器，无视一切流量攻击	【阿里云】宝塔一键部署，低至5折	A8招租，联系qq394030111	【阿里云】宝塔一键部署，低至5折	OV/EV SSL证书，可当日签发
█ 易探云·香港/美国vps仅9元 █	▶CPS云◀海外大带宽vps服务器	OV/EV SSL证书，可当日签发	【云防护】专注域名和网站安全防护	A15招租，联系qq394030111

个别正常页面百度蜘蛛抓取路径错误是什么原因

浏览过的版块