当前位置:论坛首页 > Linux面板 > 求助

【已回应】能不能在防火墙加上禁某个搜索引擎访问?

发表在 Linux面板6 天前 [复制链接] 10 95

例如国外的那些根本不需他他们收录任何东西,国内的bing,搜狗之类的,每天在在网站上爬,反而影响网站的性能,想彻底禁掉。
使用道具 举报 只看该作者 回复
发表于 6 天前 | 显示全部楼层
用robots禁止搜索引擎爬取
使用道具 举报 回复 支持 反对
发表于 6 天前 | 显示全部楼层
mrwu888 发表于 2019-5-16 15:30
用robots禁止搜索引擎爬取

你太天真了,国内这些你怎么写也照样爬
使用道具 举报 回复 支持 反对
发表于 6 天前 | 显示全部楼层
百度下 Nginx防蜘蛛爬虫处理
使用道具 举报 回复 支持 反对
发表于 6 天前 | 显示全部楼层
可以的  在防火墙ua这里设置,不想让百度爬就加上百度的爬虫特征就好了 ua过滤.jpg
使用道具 举报 回复 支持 反对
发表于 6 天前 | 显示全部楼层
大炮运维V587 发表于 2019-5-16 16:44
可以的  在防火墙ua这里设置,不想让百度爬就加上百度的爬虫特征就好了

能不能顺便给个爬虫的UA?
使用道具 举报 回复 支持 反对
发表于 6 天前 | 显示全部楼层
linoffg 发表于 2019-5-16 17:02
能不能顺便给个爬虫的UA?

你搜索下你要屏蔽的爬虫ua
使用道具 举报 回复 支持 反对
发表于 6 天前 | 显示全部楼层
大炮运维V587 发表于 2019-5-16 17:16
你搜索下你要屏蔽的爬虫ua

网上找过了,都不全,很乱
使用道具 举报 回复 支持 反对
发表于 5 天前 | 显示全部楼层
linoffg 发表于 2019-5-16 17:41
网上找过了,都不全,很乱

有多少填多少
使用道具 举报 回复 支持 反对
发表于 5 天前 | 显示全部楼层
本帖最后由 linoffg 于 2019-5-17 09:46 编辑


不能直接发布带链接的,只能发个图,要屏蔽这个蜘蛛怎么填?万分感谢。

(Sogou web spider/4.0|Sogou web spider|Sogou web spider/4.0|Sogou web spider|Sogou News Spider|New-Sogou-Spider)

我已经填了这些,还是不能拦截
QQ截图20190517093558.jpg
QQ截图20190517094558.jpg
使用道具 举报 回复 支持 反对
发表于 5 天前 | 显示全部楼层
比如禁止  /web/目录下所有搜狗蜘蛛抓取


location ~ ^/web/ {
        if ($http_user_agent ~* Sogou) {
               
                        return   404;
                        }
}
使用道具 举报 回复 支持 反对
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

【求助贴,免费跟进,注意事项】

《宝塔linux面板安装使用教程汇总贴》

①错误提示截图;

②操作系统版本;

③环境信息;

确保信息详细,方便技术快速跟进

上班时间:周一至周六 9:00~18:30

如果紧急,官网后台提交付费工单解决

快速回复 返回顶部 返回列表