【已解答】网站收录没了，robots.txt文件AI无法读取
为了能快速了解并处理您的问题，请提供以下基础信息：网站收录没了，robots.txt文件AI无法读取，接入了CDN，想知道宝塔面板这有没有禁止AI或搜索引擎抓取的设置？
面板、插件版本：免费版8.0.5
系统版本：CentOS 8
问题描述：网站收录没了，且测试robots.txt文件AI无法读取
相关截图（日志、错误）：
您好，您可以在您网站目录下创建robots.txt
正规大厂 AI 爬虫都会遵守 robots.txt 协议
只需要写好对应蜘蛛UA规则即可
页:
[1]