【已回应】Nginx防火墙 4.2防火墙问题 管理来看看

这个规则看了下过滤了百度蜘蛛怎么设置才行啊

请问下 regular 规则在那里

有人吗   regular 这条规则是那条啊 知道的麻烦说下谢谢了

有人吗？？？

就在防火墙的User-Agent配置里面，删掉百度爬虫的UA就行了

mingxue 发表于 2018-12-17 12:15
就在防火墙的User-Agent配置里面，删掉百度爬虫的UA就行了

朋友我看了    你说的 User-Agent配置 里面 删掉UA 没有啊  这是 规则



(HTTrack|Apache-HttpClient|harvest|audit|dirbuster|pangolin|nmap|sqln|hydra|Parser|libwww|BBBike|sqlmap|w3af|owasp|Nikto|fimap|havij|zmeu|BabyKrokodil|netsparker|httperf| SF/)  删那里

您好，你要是对正则不熟悉可以将该完整的URL地址放到URL白名单中。

大炮运维V587 发表于 2018-12-17 15:18
您好，你要是对正则不熟悉可以将该完整的URL地址放到URL白名单中。

百度蜘蛛  和其它搜索引擎的 爬虫连接怎么放

tys00999 发表于 2018-12-17 21:00
百度蜘蛛  和其它搜索引擎的 爬虫连接怎么放

如果您不想让蜘蛛怕您的站点，就在nginx配置文件中加上

1. if ( $http_user_agent ~* (spider|bot) ) {
   
2.               return 403;
   
3. }

复制代码

大炮运维V587 发表于 2018-12-18 09:13
如果您不想让蜘蛛怕您的站点，就在nginx配置文件中加上

管理我的意思是开启了防火墙以后 所有搜索引擎爬行都被拦截了怎么 修改规则 不是不让搜索引擎收录

tys00999 发表于 2018-12-20 21:24
管理我的意思是开启了防火墙以后 所有搜索引擎爬行都被拦截了怎么 修改规则 不是不让搜索引擎收录 ...

您好，这是根据特征来进行正则匹配拦截的，没办法做到特别智能，您可以尝试关闭增强CC攻击，或者把原来的规则删除自行添加合适的规则。