宝塔用户_cpcfoa 发表于 2020-8-31 19:13:10

【已回应】请问这个有带 robots.txt 限制百度抓取吗？

请问这个宝塔有带 robots.txt 限制百度抓取吗？我用这个系统做域名收录百度显示就限制抓取，可是我查看文件里里明明没有robots.txt 这个文件，请问有谁知道这个是什么原因？由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述

谢花郎 发表于 2020-9-1 01:30:01

您好，没有的，这个文件是需要你自己编写的。
页: [1]
查看完整版本: 【已回应】请问这个有带 robots.txt 限制百度抓取吗？