宝塔724运维节来了,企业版999元/年,送安全巡检;证书组队,低至28元!查看活动
当前位置:论坛首页 > Linux面板 > 讨论

【已解答】我的网站最近一直被google爬虫爬取

发表在 Linux面板2022-7-8 22:46 [复制链接] 1 5633

我的网站最近一直被google爬虫爬取,本来带宽就不高,弄的特别卡,这个爬虫恶意爬虫吗,每秒都在爬,能禁掉吗
105106eakpz1ysmk5zvvyl.png 105106lrquz3r34rksaj33.png
使用道具 举报 只看该作者 回复
发表于 2022-7-8 23:20:40 | 显示全部楼层
您好,您可以通过Nginx防火墙或者是Nginx配置规则判断UA头进行拦截。
以及robots文件标明

https://blog.csdn.net/qq_41608099/article/details/114401709
https://www.cnblogs.com/Renyi-Fan/p/9711711.html
使用道具 举报 回复 支持 反对
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

普通问题处理

论坛响应时间:72小时

问题处理方式:排队(仅解答)

工作时间:白班:9:00 - 18:00

紧急运维服务

响应时间:3分钟

问题处理方式:宝塔专家1对1服务

工作时间:工作日:9:00 - 18:30

宝塔专业团队为您解决服务器疑难问题

点击联系技术免费分析

工作时间:09:00至18:30

快速回复 返回顶部 返回列表