当前位置:论坛首页 > Linux面板 > 求助

【已解答】数据采集可以导致服务器CPU占满,网站无法访...

发表在 Linux面板2022-4-7 16:21 [复制链接] 12 7469

      我们的网站是地方招聘求职网站(地级市),购买的某商业人才网程序(PHP+My SQL),2021年底升级到新的版本,采用宝塔(Linux面板)部署,2021年1月以来,网站服务器经常出现CPU占满,网站无法访问的情况。
      商业人才网程序技术支持人员说,这是因为数据采集造成的。
      百度统计显示,网站访问量较小,多数情况下,每天只有20个左右甚至几个IP访问。但通过宝塔查看网站日志,数据采集较频繁,一秒钟内最多时有20多个IP在采集数据。使用了Nginx免费防火墙,防CC、SQL注入、禁止国外访问均已经打开,已经100多组IP拉入防火墙黑名单,但还是隔一段时间有出现新的数据采集IP,并且数量较多,导致隔一段时间就出现服务器CPU占用80%到100%,网站无法访问的情况。
      昨天再次出现服务器出现CPU占满,网站无法访问的情况,阿里云服务监控显示,ECS同时连接数最高达到1000次,经常有100多次,就我们网站正常的访问量,显然不正常,之前请阿里云客服协助排查过,阿里云客服回复tcp关闭和等待的tcp连接过多一般是正常断开后没有正常回收,宝塔监控显示,服务器负载和CPU使用率经常达到100%,导致网站无法访问。重启服务器多次,在Nginx免费防火墙屏蔽了一些IP,网站勉强恢复访问,自2021年1月底这种情况已经出现约10次。
      我们觉得程序可以优化,给供应商提了工单,但是程序供应商推脱说不是程序问题,不愿意升级程序,说购买服务器安全软件来防护,具体什么防护软件也说不上来,实话讲,对他们有些失去信心。
      现在是在宝塔面板中将网站流量做了限制,并发限制设置为100,单IP限制并发限制为25,流量限制为512K,Nginx免费防火墙将网站的CDN功能也打开,今天服务器暂时没有出现负载和CPU使用率达到100%的情况,网站可以访问。
      请问大家遇到过这个问题吗?该如何解决呢?请大家支招,谢谢!


使用道具 举报 只看该作者 回复
发表于 2022-4-7 16:34:18 | 显示全部楼层
免费防火墙那个cdn功能是需要你部署了cdn,开启后获取到用户真实ip的作用;没有部署的话开了没有作用的

然后,如果确定是采集导致的,nginx防火墙的cc防御增强模式能解决这个采集的问题;免费防火墙并非我司开发

我司开发的是付费防火墙,增强模式在遇到采集、攻击的时候能大量当场组织超高的请求,你可以试试这个
https://www.bt.cn/bbs/thread-73847-1-1.html
使用道具 举报 回复 支持 反对
发表于 2022-4-7 16:54:15 | 显示全部楼层
宝塔网站日志:
QQ图片20220407165254.png
请问这是数据采集造成的吗?
使用道具 举报 回复 支持 反对
发表于 2022-4-7 16:59:31 | 显示全部楼层
堡塔安全赤井秀一 发表于 2022-4-7 16:34
免费防火墙那个cdn功能是需要你部署了cdn,开启后获取到用户真实ip的作用;没有部署的话开了没有作用的

然 ...

请看一下我发的宝塔网站日志截图,这是数据采集造成的吗?
优化网站程序是否可以解决这个问题?
使用道具 举报 回复 支持 反对
发表于 2022-4-7 17:01:28 | 显示全部楼层
hbcgit 发表于 2022-4-7 16:59
请看一下我发的宝塔网站日志截图,这是数据采集造成的吗?
优化网站程序是否可以解决这个问题? ...

基本都是机器人,优化程序解决不了这个问题,需要用第三方手段;
比如防火墙waf,cdn等
使用道具 举报 回复 支持 反对
发表于 2022-4-8 15:34:19 | 显示全部楼层
堡塔安全赤井秀一 发表于 2022-4-7 17:01
基本都是机器人,优化程序解决不了这个问题,需要用第三方手段;
比如防火墙waf,cdn等 ...

请问在宝塔面板中启用流量控制有用吗?
如果使用防火墙waf,cdn等,成本费用是多少?
使用道具 举报 回复 支持 反对
发表于 2022-4-8 18:38:21 | 显示全部楼层
hbcgit 发表于 2022-4-8 15:34
请问在宝塔面板中启用流量控制有用吗?
如果使用防火墙waf,cdn等,成本费用是多少? ...

每个商家的cdn和waf费用不同,你可以都了解一下;

面板控制流量的那个是针对单个ip的,你已经设置过了
使用道具 举报 回复 支持 反对
发表于 2022-5-19 17:40:40 | 显示全部楼层
h1.png h2.png h3.png
请问这是属于什么类型攻击,你们的防火墙软件能够处理吗?
现在用的是免费版的Nginx防火墙,网站还是经常出现服务器CPU占满,网站无法访问的情况
另外使用过程中如果更换服务器,防火墙软件可以部署到新的服务器上使用吗?
使用道具 举报 回复 支持 反对
发表于 2022-5-19 17:41:59 | 显示全部楼层
堡塔安全赤井秀一 发表于 2022-4-8 18:38
每个商家的cdn和waf费用不同,你可以都了解一下;

面板控制流量的那个是针对单个ip的,你已经设置过了 ...

请看下我上面的回复
使用道具 举报 回复 支持 反对
发表于 2022-5-22 22:12:31 | 显示全部楼层
hbcgit 发表于 2022-5-19 17:40
请问这是属于什么类型攻击,你们的防火墙软件能够处理吗?
现在用的是免费版的Nginx防火墙,网站还是经常 ...

您好!免费nginx非官方软件,在使用付费插件的时候如需更换服务器使用需到官网更换绑定的IP地址。
使用道具 举报 回复 支持 反对
发表于 2022-6-3 11:36:21 | 显示全部楼层
堡塔运维向樛木 发表于 2022-5-22 22:12
您好!免费nginx非官方软件,在使用付费插件的时候如需更换服务器使用需到官网更换绑定的IP地址。 ...

之前用的是Nginx免费版防火墙,现在换成了收费版的Nginx防火墙,网站遭受CC攻击(已排除DDOS攻击),标准模式防不住,开启了增强模式,人机校验设为自动开启,服务器负载和CPU占用率降下来了,但网站经常无法访问,是什么情况?
使用道具 举报 回复 支持 反对
发表于 2022-6-9 16:18:59 | 显示全部楼层
hbcgit 发表于 2022-6-3 11:36
之前用的是Nginx免费版防火墙,现在换成了收费版的Nginx防火墙,网站遭受CC攻击(已排除DDOS攻击),标准 ...

增强模式的规则严厉,是会出现误封的情况
使用道具 举报 回复 支持 反对
发表于 2022-9-20 10:28:34 | 显示全部楼层
大炮.jpg
您好,防采集的问题请加我企业微信
使用道具 举报 回复 支持 反对
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

企业版年付运维跟进群

普通问题处理

论坛响应时间:72小时

问题处理方式:排队(仅解答)

工作时间:白班:9:00 - 18:00

紧急问题处理

论坛响应时间:10分钟

问题处理方式:1对1处理(优先)

工作时间:白班:9:00 - 18:00

工作时间:晚班:18:00 - 24:00

立即付费处理
快速回复 返回顶部 返回列表