gxb8272605 发表于 2024-8-25 00:49:38

【待反馈】网站经常100%，检查日志发现大量这个访问，请...

网站经常100%，检查日志发现大量这个访问，请问这是爬虫还是什么呢？18.220.245.184 - - ＂GET /plugin.php?ac=cat&cat_id=44&city=%E9%B9%A4%E5%B2%97%E5%B8%82&dist=%E5%8D%97%E5%B1%B1%E5%8C%BA&id=xigua_hb&orderby=zan&province=%E9%BB%91%E9%BE%99%E6%B1%9F%E7%9C%81&st=216 HTTP/2.0＂ 301 162 ＂-＂ ＂Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)＂

gxb8272605 发表于 2024-8-25 00:52:28

请问一下如何禁止呢？防火墙来操作吗

gxb8272605 发表于 2024-8-25 01:04:38

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)

运维技术阿闯 发表于 2024-8-26 09:16:07

您好，您这边是否都是这单独一个ip访问18.220.245.184呢
如果是的话，可以将ip拉入黑名单，这个是一个国外ip
以及您这边是否有plugin.php这个文件，没有的话，您这边做一个ua黑名单。

gxb8272605 发表于 2024-8-26 09:40:13

运维技术阿闯 发表于 2024-8-26 09:16
您好，您这边是否都是这单独一个ip访问18.220.245.184呢
如果是的话，可以将ip拉入黑名单，这个是一个国外i ...

我看访问都是这样记录，Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)＂

如果做UA黑名单，只需要把ClaudeBot 这个词汇加入就行了是吧，我搜索了下这个是国外一个AI爬虫

运维技术阿闯 发表于 2024-8-26 12:17:34

gxb8272605 发表于 2024-8-26 09:40
我看访问都是这样记录，Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0 ...

您好，也是可以的
页: [1]
查看完整版本: 【待反馈】网站经常100%，检查日志发现大量这个访问，请...