网站监控报表6.9更新支持真假蜘蛛区分

本帖最后由 Linxiao 于 2022-5-12 09:31 编辑

Linux网站监控报表6.9更新记录：
1. 新增真假蜘蛛请求区分。
2. 修复和完善日志迁移后台任务。

假蜘蛛请求是什么？为什么要识别出假蜘蛛？
假蜘蛛请求一般都是人为的程序脚本伪造请求中的UserAgent批量发起对网站的访问，它们可能是出于恶意破坏、数据采集等目的，对于网站来说并无益处，所以识别出这些请求，并针对性的采取相应的措施对于站长来说是很有必要的。

监控报表插件如何区分真假蜘蛛？
监控报表真假蜘蛛区分是通过对比客户端IP的方式来验证UserAgent是搜索引擎标识的请求，对比的真蜘蛛IP库来自宝塔防火墙。
蜘蛛IP库收集的IP数量详情:
百度 513
Google 2451
360 2124
搜狗 837
雅虎 99
必应 2078
头条 2424
基本收集完整国内主流搜索引擎的真实IP，并且是每周自动更新。

真假蜘蛛请求数据在新版本插件上体现的详细情况：
1. 网站列表原来的蜘蛛列改成了真假蜘蛛，显示每个站点的真假蜘蛛请求统计数量。
网站列表.png

2. 蜘蛛统计左侧显示假蜘蛛请求数量。
蜘蛛统计.png

3. 网站日志新增假蜘蛛筛选条件，新增灰色点来标记假蜘蛛请求。黑色点代表已经验证过的蜘蛛请求。
请注意：部分不在蜘蛛IP库内的蜘蛛请求仍然会标记成黑色圆点；部分最新更新的搜索引擎蜘蛛IP可能因为未及时更新可能会识别错误，所以不能保证100%正确，但能够应对国内90%以上的网站蜘蛛统计场景。
网站日志.png

4. 全局设置新增手动更新蜘蛛IP库。
全局设置.png

如有疑问欢迎加监控报表专属交流千人群625962236联系我。

孙子烧烤 · 发表于 2022-5-16 21:08:09

论宝塔官方什么时候能把云控bug修复。

用户012548732 · 发表于 2022-5-17 19:13:57

这个监控报表为啥老是把本机IP当成蜘蛛统计

Linxiao · 发表于 2022-5-19 17:03:38

用户012548732 发表于 2022-5-17 19:13
这个监控报表为啥老是把本机IP当成蜘蛛统计

本机IP会当成蜘蛛？

Linxiao · 发表于 2022-5-19 17:05:31

孙子烧烤发表于 2022-5-16 21:08
论宝塔官方什么时候能把云控bug修复。

你在云控群里反馈给我。

1501462374sium · 发表于 2022-10-13 13:00:39

这个功能把百度蜘蛛给屏蔽了
220.181.108.83
220.181.108.105
220.181.108.145
220.181.108.158

█菠萝云买2送1活动！12G内存99元	阿里云国际低折扣多云自助平台	APP分发-无行业限制免审核	A4招租，联系qq394030111	A5招租，联系qq394030111
高防服务器，无视一切流量攻击	【阿里云】宝塔一键部署，低至5折	A8招租，联系qq394030111	【阿里云】宝塔一键部署，低至5折	OV/EV SSL证书，可当日签发
█ 易探云·香港/美国vps仅9元 █	▶CPS云◀海外大带宽vps服务器	OV/EV SSL证书，可当日签发	【云防护】专注域名和网站安全防护	A15招租，联系qq394030111