【已解答】宝塔怎么禁止蜘蛛爬取某一个站点？

服务器多个站点，一个是测试使用，不想被蜘蛛爬取收录，

在这个站点的配置文件中

if ($http_user_agent ~* (baiduspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)){ return 403; }

使用这个规则，但是好像没有什么效果？

请问宝塔如何禁止蜘蛛爬取某一个站点？

大炮运维V587 · 发表于 2021-3-4 15:42:39

您好，屏蔽爬虫就是加上这些ua，添加屏蔽后注意重载nginx使其生效

努力奋斗的鱼 · 发表于 2021-3-4 15:44:44

加上这些ua重启nginx后，用什么工具可以模拟蜘蛛爬取检查效果呢？

宝塔用户_bghgmi · 发表于 2021-3-4 17:19:06

curl 带 user agent

█菠萝云买2送1活动！12G内存99元	A2招租，联系qq394030111	APP分发-无行业限制免审核	香港CN2物理机8核32G，398元/月	【UStat】免费易用的网站分析平台
高防服务器，无视一切流量攻击	【阿里云】宝塔一键部署，低至5折	香港站群金牌Gold 6138大促销	【阿里云】宝塔一键部署，低至5折	OV/EV SSL证书，可当日签发
█ 易探云·香港/美国vps仅9元 █	▶CPS云◀海外大带宽vps服务器	OV/EV SSL证书，可当日签发	【云防护】专注域名和网站安全防护	【UStat】免费易用的网站分析平台