本帖最后由 宝塔用户_weuauj 于 2019-1-21 17:50 编辑
这几天发现很多错误日志，打开一看，大部分由百度蜘蛛访问后产生，原本正常的URL，蜘蛛的来路却多了一个/*&%5E%25$从而导致404错误。
错误案例：
运行环境：
1.CentOS Linux 7.6.1810 (Core)
2.NGINX
3.PHP5.4
4.阿里云服务器
原因（可能性%）：
1.网站程序（0%，无论是DX或DZ，都出现了该错误。）
2.百度蜘蛛？（10%，最近一周移动网络打不开百度站长工具，今天才恢复。）
3.阿里云？（0%，安装宝塔面板的服务器出现该错误，其他几个使用阿里云虚拟主机的网站没问题）
4.宝塔（90%，同一台服务器，几个不同的网站程序，无一例外都有该错误）
不良影响：
1.产生大量的404页面，降低网站的权重得分。
2.收录下降。
应急方案：
1.将错误的URL写入robots.txt（这个方法不太好，禁止访问后，蜘蛛虽然不爬取，但是我们会因此忽略错误的存在）
2.301重定向，设置伪静态规则：rewrite ^/([0-9]+)/([0-9]+).html/(.*) /$1/$2.html permanent;（NGINX规则）APCHE规则：RedirectMatch 301 ^/(\d+)/(\d+)\.html/(.*)$ /$1/$2.html
|
|
运维要高效，装宝塔
