【已完成】宝塔nginx插件怎么屏蔽垃圾蜘蛛？
宝塔nginx插件怎么屏蔽垃圾蜘蛛？ 您好，您有没有对应的蜘蛛的UA？有的话可以到这里进行添加UA黑名单的方式来屏蔽大炮运维V587 发表于 2023-11-30 09:12
您好，您有没有对应的蜘蛛的UA？有的话可以到这里进行添加UA黑名单的方式来屏蔽
...
没有对应的蜘蛛UA，每天来的垃圾蜘蛛太多了，负载超高 宝塔用户_kvxuha 发表于 2023-11-30 09:14
没有对应的蜘蛛UA，每天来的垃圾蜘蛛太多了，负载超高
如果不需要蜘蛛的话，可以开启增强模式，然后选择滑块验证可以抵挡蜘蛛 本帖最后由 宝塔用户_abrkur 于 2023-11-30 11:34 编辑
第一步：
/www/server/nginx/conf新建文件 agent_deny.conf
内容
#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|HttpClient|crawl|curb|git|Wtrace)) {
return 403;
}
#禁止指定UA及UA为空的访问
if ($http_user_agent ~* "CheckMarkNetwork|Synapse|Nimbostratus-Bot|Dark|scraper|LMAO|Hakai|Gemini|Wappalyzer|masscan|crawler4j|Mappy|Center|eright|aiohttp|MauiBot|Crawler|researchscan|Dispatch|AlphaBot|Census|ips-agent|NetcraftSurveyAgent|ToutiaoSpider|EasyHttp|Iframely|sysscan|fasthttp|muhstik|DeuSu|mstshash|HTTP_Request|ExtLinksBot|package|SafeDNSBot|CPython|SiteExplorer|SSH|MegaIndex|BUbiNG|CCBot|NetTrack|Digincore|aiHitBot|SurdotlyBot|null|SemrushBot|Test|Copied|ltx71|Nmap|DotBot|AdsBot|InetURL|Pcore-HTTP|PocketParser|Wotbox|newspaper|DnyzBot|redback|PiplBot|SMTBot|WinHTTP|Auto Spider 1.0|GrabNet|TurnitinBot|Go-Ahead-Got-It|Download Demon|Go!Zilla|GetWeb!|GetRight|libwww-perl|Cliqzbot|MailChimp|SMTBot|Dataprovider|XoviBot|linkdexbot|SeznamBot|Qwantify|spbot|evc-batch|zgrab|Go-http-client|FeedDemon|Jullo|Feedly|YandexBot|oBot|FlightDeckReports|Linguee Bot|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|EasouSpider|LinkpadBot|Ezooms|^$" ) {
return 403;
}
#禁止非GET|HEAD|POST方式的抓取
if ($request_method !~ ^(GET|HEAD|POST)$) {
return 403;
}
第二步：之后网站配置文件 第6-8行左右 添加include agent_deny.conf;
我反正这样设置 有一定效果
注意：如果这样配置了后期要一键迁移的话新服务器必须要按照这个第一步配置文件 否则迁移会提示配置文件错误
宝塔用户_kvxuha 发表于 2023-11-30 09:14
没有对应的蜘蛛UA，每天来的垃圾蜘蛛太多了，负载超高
您好，您的问题是否已经得到了解决呢，如已经解决可以在这里回复一下。 宝塔用户_abrkur 发表于 2023-11-30 11:32
第一步：
/www/server/nginx/conf新建文件 agent_deny.conf
内容
您好，感谢您提供的方法。感谢您对宝塔的支持。
页:
[1]