【已完成】宝塔nginx插件怎么屏蔽垃圾蜘蛛？

宝塔nginx插件怎么屏蔽垃圾蜘蛛？

您好，您有没有对应的蜘蛛的UA？有的话可以到这里进行添加UA黑名单的方式来屏蔽

大炮运维V587 发表于 2023-11-30 09:12
您好，您有没有对应的蜘蛛的UA？有的话可以到这里进行添加UA黑名单的方式来屏蔽
...

没有对应的蜘蛛UA，每天来的垃圾蜘蛛太多了，负载超高

宝塔用户_kvxuha 发表于 2023-11-30 09:14
没有对应的蜘蛛UA，每天来的垃圾蜘蛛太多了，负载超高

如果不需要蜘蛛的话，可以开启增强模式，然后选择滑块验证可以抵挡蜘蛛

第一步：
/www/server/nginx/conf新建文件 agent_deny.conf
内容

#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|HttpClient|crawl|curb|git|Wtrace)) {
return 403;
}

#禁止指定UA及UA为空的访问
if ($http_user_agent ~* "CheckMarkNetwork|Synapse|Nimbostratus-Bot|Dark|scraper|LMAO|Hakai|Gemini|Wappalyzer|masscan|crawler4j|Mappy|Center|eright|aiohttp|MauiBot|Crawler|researchscan|Dispatch|AlphaBot|Census|ips-agent|NetcraftSurveyAgent|ToutiaoSpider|EasyHttp|Iframely|sysscan|fasthttp|muhstik|DeuSu|mstshash|HTTP_Request|ExtLinksBot|package|SafeDNSBot|CPython|SiteExplorer|SSH|MegaIndex|BUbiNG|CCBot|NetTrack|Digincore|aiHitBot|SurdotlyBot|null|SemrushBot|Test|Copied|ltx71|Nmap|DotBot|AdsBot|InetURL|Pcore-HTTP|PocketParser|Wotbox|newspaper|DnyzBot|redback|PiplBot|SMTBot|WinHTTP|Auto Spider 1.0|GrabNet|TurnitinBot|Go-Ahead-Got-It|Download Demon|Go!Zilla|GetWeb!|GetRight|libwww-perl|Cliqzbot|MailChimp|SMTBot|Dataprovider|XoviBot|linkdexbot|SeznamBot|Qwantify|spbot|evc-batch|zgrab|Go-http-client|FeedDemon|Jullo|Feedly|YandexBot|oBot|FlightDeckReports|Linguee Bot|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|EasouSpider|LinkpadBot|Ezooms|^$" ) {
return 403;
}

#禁止非GET|HEAD|POST方式的抓取
if ($request_method !~ ^(GET|HEAD|POST)$) {
return 403;
}

第二步：之后网站配置文件 第6-8行左右 添加include agent_deny.conf;
我反正这样设置 有一定效果
注意：如果这样配置了  后期要一键迁移的话  新服务器必须要按照这个第一步配置文件 否则迁移会提示配置文件错误

宝塔用户_kvxuha 发表于 2023-11-30 09:14
没有对应的蜘蛛UA，每天来的垃圾蜘蛛太多了，负载超高

您好，您的问题是否已经得到了解决呢，如已经解决可以在这里回复一下。

宝塔用户_abrkur 发表于 2023-11-30 11:32
第一步：
/www/server/nginx/conf新建文件 agent_deny.conf
内容

您好，感谢您提供的方法。感谢您对宝塔的支持。