onedeg发表在 Linux面板2019-5-16 15:24 [复制链接] 10 3220
mrwu888 发表于 2019-5-16 15:30 用robots禁止搜索引擎爬取
大炮运维V587 发表于 2019-5-16 16:44 可以的 在防火墙ua这里设置,不想让百度爬就加上百度的爬虫特征就好了
linoffg 发表于 2019-5-16 17:02 能不能顺便给个爬虫的UA?
大炮运维V587 发表于 2019-5-16 17:16 你搜索下你要屏蔽的爬虫ua
linoffg 发表于 2019-5-16 17:41 网上找过了,都不全,很乱
大炮运维V587 发表于 2019-5-17 09:06 有多少填多少
本版积分规则 发表回复 回帖后跳转到最后一页
企业版年付运维跟进群
论坛响应时间:72小时
问题处理方式:排队(仅解答)
工作时间:白班:9:00 - 18:00
论坛响应时间:10分钟
问题处理方式:1对1处理(优先)
工作时间:晚班:18:00 - 24:00
工作时间:09:00至24:00