【已回应】建议增加垃圾蜘蛛屏蔽

根据使用观察，发现宝塔插件的防火墙UA屏蔽对某些蜘蛛无效，我用的是apache，在伪静态规则中写有用。


SetEnvIfNoCase ^User-Agent$ .*(SemrushBot|SemrushBot-SA|Bytespider|BLEXBot|CompSpyBot|Exabot|ZoominfoBot|ExtLinksBot|AlphaBot|DotBot|MauiBot|MegaIndex.ru|SiteExplorer|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|perl|Python|Wget|Xenu|ZmEu) BADBOT
Order Allow,Deny
Allow from all
Deny from env=BADBOT

有些蜘蛛没有添加进去，可以在ua那里添加的。

大炮运维V587 发表于 2019-7-25 11:50
有些蜘蛛没有添加进去，可以在ua那里添加的。

防火墙UA屏蔽部分无效，写伪静态有用