当前位置:论坛首页 > Linux面板 > 求助

【已解答】彻底禁用爬虫

发表在 Linux面板2023-3-29 10:12 [复制链接] 4 3869

本帖最后由 堡塔运维香菜卷 于 2023-3-29 11:56 编辑

专业版用户
爬虫不堪其扰。经常100%,不需要爬虫收录希望能彻底禁用

服务器环境
4核8G内存
nginx 1.22.1
防火墙9.09

已经设置 地区限制 只放行两个国家

还想进一步禁用所有蜘蛛,求助中

1 不知道UA黑名单如何操作
2 蜘蛛池向去掉所有IP,但是担心定期会自动同步
3 不需要收录索引,只求稳定

感谢感谢

使用道具 举报 只看该作者 回复
发表于 2023-3-29 10:45:39 | 显示全部楼层
求助中~
使用道具 举报 回复
发表于 2023-3-29 11:56:32 | 显示全部楼层
您好,您看看这个宝塔防火墙黑名单的使用教程:https://www.bt.cn/bbs/thread-57589-1-1.html
使用道具 举报 回复 支持 反对
发表于 2023-3-31 18:53:15 | 显示全部楼层
看了 想禁用所有爬虫 有具体方案吗
使用道具 举报 回复 支持 反对
发表于 2023-4-1 10:08:02 | 显示全部楼层
您好,您那边可以尝试直接使用robots.txt文件禁用,或者网站配置内增加UA头判断进行拦截。
https://blog.csdn.net/m0_53869923/article/details/112796787
使用道具 举报 回复 支持 反对
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

普通问题处理

论坛响应时间:72小时

问题处理方式:排队(仅解答)

工作时间:白班:9:00 - 18:00

紧急运维服务

响应时间:3分钟

问题处理方式:宝塔专家1对1服务

工作时间:工作日:9:00 - 18:30

宝塔专业团队为您解决服务器疑难问题

点击联系技术免费分析

工作时间:09:00至18:30

快速回复 返回顶部 返回列表