百度蜘蛛访问后自动加/*&^%$

错误日志如下（百度蜘蛛访问后，自动在路径后加/*&^%$,导致404）：
日志有点长，分左右两侧截图

左侧

右侧

操作系统版本：
阿里云服务器，CentOS Linux 7.6.1810 (Core)
环境信息：
1.宝塔免费版，未开防火墙。
2.Nginx 1.14.2
3.MySQL 5.5.57
4.php5.4
5.未启用SSL
6.未启用流量限制
7.未启用伪静态
谢谢各位大神相助，感激涕零！

%5E是^
%25是%
是不是哪里判断了百度蜘蛛做的跳转

2293310198 发表于 2019-1-2 12:12
%5E是^
%25是%
是不是哪里判断了百度蜘蛛做的跳转

您说的是对的，/*&^%$转码后等于/*&%5E%25$。
这台服务器使用宝塔面板，搭建了2个不同程序的网站，分别是1个DZ、2个DEDE。但3个网站百度蜘蛛抓取，都会在路径后加/*&%5E%25$，从而出现404错误。
而其他几个用阿里云独立虚拟主机的网站，却没有这样的问题，所以问题可能与宝塔有关。
麻烦管理员大大帮忙分析一下，这几天流量和权重不断下降，原有的排名很多都掉了。

宝塔用户_weuauj 发表于 2019-1-2 12:49
您说的是对的，/*&^%$转码后等于/*&%5E%25$。
这台服务器使用宝塔面板，搭建了2个不同程序的网站，分别是 ...

我模拟百度ua爬了一下没有跳转

应该是有人在爬你的数据，被拦截了
这些ip都不是百度的蜘蛛

这他妈不是百度蜘蛛，这是模拟的假的user-agent，我之前也被这样玩过，这是编码过的中文，发的广告，就是靠你网站的动态页面增加这个关键词的流量，甚至有的人直接在后面写链接

我也有这个问题，在百度站长论坛也有不少用户反馈，使用的是阿里云服务器，宝塔面板，wordpress，开了SSL：
1.IP是百度蜘蛛的，可以通过ipip.net确认。
2.模拟百度蜘蛛抓取，不会出现此错误。
3.此问题大约升级到宝塔6.3后出现
4.可能宝塔防火墙有关系？存疑
5.此问题在百度站长论坛有多个帖子反馈，他们也是用的宝塔
6.此问题有比较大的概率和宝塔面板有关系，建议宝塔的管理员能检测一下。
7.我也没有找到出现此问题的根源，只能从百度方面来解决，解决办法是在robots.txt做了抓取屏蔽 Disallow: /*%5E%25*
Disallow: /*&* 然后在百度资源平台更新robots.txt，大约3天左右停止了抓取。

mingxue 发表于 2019-1-2 15:16
这他妈不是百度蜘蛛，这是模拟的假的user-agent，我之前也被这样玩过，这是编码过的中文，发的广 ...

这是百度的蜘蛛。*&%5E%25$也不是编码过的中文，转码后是*&^%$，按住SHIFT，然后输入87654，就是这些符号。
就这几天，我的M站百度收录从600多页断崖式降到100多页（百度站长工具看的索引量）

chongzi 发表于 2019-1-2 16:30
我也有这个问题，在百度站长论坛也有不少用户反馈，使用的是阿里云服务器，宝塔面板，wordpress，开了SSL： ...

是的，我也看到好几个人反映这个问题。

宝塔用户_weuauj 发表于 2019-1-2 16:40
是的，我也看到好几个人反映这个问题。

在没找到问题根源前，你可以先按照我的方法临时处理。

chongzi 发表于 2019-1-2 16:47
在没找到问题根源前，你可以先按照我的方法临时处理。

谢谢，已经临时处理了。
Disallow: /*.html/*
但不是长久之计，我的收录已经断崖式下降了。

宝塔用户_weuauj 发表于 2019-1-2 16:51
谢谢，已经临时处理了。
Disallow: /*.html/*
但不是长久之计，我的收录已经断崖式下降了。

你可以在百度站长工具Robots功能中检查一下Disallow: /*.html/*是否可以防止/*&%5E%25$和/*&^%$，以及是否影响了正常网页的抓取。因为我临时处理后
Disallow: /*%5E%25*
Disallow: /*&*
收录没受影响，可以抓取正常的网页，只是不在抓取/*&%5E%25$和/*&^%$了。

chongzi 发表于 2019-1-2 16:57
你可以在百度站长工具Robots功能中检查一下Disallow: /*.html/*是否可以防止/*&%5E%25$和/*&^%$，以及是否 ...

谢谢，我测试了不影响正常网页抓取。
禁止抓取不是办法。这些链接的入口来自何处？站内还是站外？站外倒是无关紧要。但如果是安防导致的，站内给出的错误链接，我们没有正面解决，错误一直存在。
ROBOTS禁止只是掩耳盗铃，还会令我们不能发现这些错误的存在，肯定会影响百度对网站的评级。
例如某个列表页面，正常用户看到的文章链接是../2018/1.html ，../2018/2.html ，../2018/3.html 而百度蜘蛛看到的是../2018/1.html/*&%5E%25$，../2018/2.html/*&%5E%25$ ，../2018/3.html/*&%5E%25$，那么对百度蜘蛛来说，这个列表页面的内容全是无效内容。

chongzi 发表于 2019-1-2 16:57
你可以在百度站长工具Robots功能中检查一下Disallow: /*.html/*是否可以防止/*&%5E%25$和/*&^%$，以及是否 ...

我关闭了阿里云的安骑士企业版，取消并更新ROBOTS试试，如果还出现这样的错误，说明不是阿里云的问题。

关闭阿里云的安骑士，这一现象仍然出现。
希望宝塔管理人员能排查一下，谢谢！