onedeg发表在 Linux面板2019-5-16 15:24 [复制链接] 10 3582
mrwu888 发表于 2019-5-16 15:30 用robots禁止搜索引擎爬取
大炮运维V587 发表于 2019-5-16 16:44 可以的 在防火墙ua这里设置,不想让百度爬就加上百度的爬虫特征就好了
linoffg 发表于 2019-5-16 17:02 能不能顺便给个爬虫的UA?
大炮运维V587 发表于 2019-5-16 17:16 你搜索下你要屏蔽的爬虫ua
linoffg 发表于 2019-5-16 17:41 网上找过了,都不全,很乱
大炮运维V587 发表于 2019-5-17 09:06 有多少填多少
本版积分规则 发表回复 回帖后跳转到最后一页
论坛响应时间:72小时
问题处理方式:排队(仅解答)
工作时间:白班:9:00 - 18:00
响应时间:3分钟
问题处理方式:宝塔专家1对1服务
工作时间:工作日:9:00 - 18:30
宝塔专业团队为您解决服务器疑难问题
工作时间:09:00至18:30