【已回应】能不能在防火墙加上禁某个搜索引擎访问？

例如国外的那些根本不需他他们收录任何东西，国内的bing，搜狗之类的，每天在在网站上爬，反而影响网站的性能，想彻底禁掉。

mrwu888 · 发表于 2019-5-16 15:30:39

用robots禁止搜索引擎爬取

onedeg · 发表于 2019-5-16 15:38:53

mrwu888 发表于 2019-5-16 15:30
用robots禁止搜索引擎爬取

你太天真了，国内这些你怎么写也照样爬

痞子哥 · 发表于 2019-5-16 16:30:01

百度下 Nginx防蜘蛛爬虫处理

大炮运维V587 · 发表于 2019-5-16 16:44:24

可以的在防火墙ua这里设置，不想让百度爬就加上百度的爬虫特征就好了 ua过滤.jpg

onedeg · 发表于 2019-5-16 17:02:46

大炮运维V587 发表于 2019-5-16 16:44
可以的在防火墙ua这里设置，不想让百度爬就加上百度的爬虫特征就好了

能不能顺便给个爬虫的UA？

大炮运维V587 · 发表于 2019-5-16 17:16:52

linoffg 发表于 2019-5-16 17:02
能不能顺便给个爬虫的UA？

你搜索下你要屏蔽的爬虫ua

onedeg · 发表于 2019-5-16 17:41:59

大炮运维V587 发表于 2019-5-16 17:16
你搜索下你要屏蔽的爬虫ua

网上找过了，都不全，很乱

大炮运维V587 · 发表于 2019-5-17 09:06:32

linoffg 发表于 2019-5-16 17:41
网上找过了，都不全，很乱

有多少填多少

onedeg · 发表于 2019-5-17 09:38:48

本帖最后由 linoffg 于 2019-5-17 09:46 编辑

大炮运维V587 发表于 2019-5-17 09:06
有多少填多少

不能直接发布带链接的，只能发个图，要屏蔽这个蜘蛛怎么填？万分感谢。

我已经填了这些，还是不能拦截

大炮运维V587 · 发表于 2019-5-17 11:23:17

比如禁止 /web/目录下所有搜狗蜘蛛抓取

location ~ ^/web/ {
if ($http_user_agent ~* Sogou) {

return 404;
}
}