【已解答】日志中ds-robot/Nutch-1.20-SNAPSHOT是什么爬虫？

本帖最后由堡塔运维香菜卷于 2023-9-27 10:57 编辑

为了能快速了解并处理您的问题，请提供以下基础信息：

面板、插件版本：8.0.2

系统版本：

问题描述：站点日志中出现大量User-Agent为ds-robot/Nutch-1.20-SNAPSHOT的记录，不知道是蜘蛛还是扫描，防火墙可以屏蔽此User-Agent吗？

相关截图（日志、错误）：

香菜卷 · 发表于 2023-9-27 10:57:29

您好，如果您想拦截这个ua的话，直接把上述的user-agent的内容填入ua黑名单即可。

宝塔用户_gxtbda · 发表于 2023-9-27 11:00:10

堡塔运维香菜卷发表于 2023-9-27 10:57
您好，如果您想拦截这个ua的话，直接把上述的user-agent的内容填入ua黑名单即可。 ...

你好，主要我不确定这个是什么爬虫？对网站有益的我肯定不屏蔽的，网上我也没检索到任何相关资料