首页 新闻 赞助 找找看

数据采集可以导致服务器CPU占满,网站无法访问吗?

0
悬赏园豆:30 [已解决问题] 解决于 2023-05-28 11:19

我们的网站是地方招聘求职网站(地级市),购买的某商业人才网程序(PHP+My SQL),这段时间,网站服务器经常出现CPU占满,网站无法访问的情况。
商业人才网程序技术支持人员说,这是因为数据采集造成的。
请问数据采集可以导致服务器CPU占满,网站无法访问吗?如何解决呢?程序上能够防控吗?如果采用防火墙,或服务器安全策略,改如何设置?
我们的服务器是阿里云服务器,用的是Linux系统。

问题补充:

通过百度统计观察,网站访问量较小,通过配置部署网站的宝塔查看网站日志,数据采集较频繁,已经将近50组IP拉近黑名单,但是隔几天有出现新的IP,并且数量较多,今天上午又出现了服务器CPU占用60%左右,网站无法访问的情况,重新启动服务器几次,封禁了一些IP,网站勉强恢复访问,但这样下去肯定还会反复出现这个问题
给商业人才网供应商提了工单,打了电话,给他们说反复出现这个问题,网站无法运营,要求他们改进程序,他们回复目前改进不了程序,只说封禁了IP的方法,并说购买商业软件来防护,问题是他们写的程序要别的软件来防护,哪有这样的软件

0724job的主页 0724job | 初学一级 | 园豆:69
提问于:2022-02-28 15:11

最后购买了WAF软件,开启了防CC攻击等功能,问题基本得以解决,谢谢各位的帮助!

0724job 10个月前
< >
分享
最佳答案
0

你说的数据采集是别人的爬虫吧。
搜索下反爬的方案,有很多限制的方式。

收获园豆:30
wang_yb | 老鸟四级 |园豆:4891 | 2022-02-28 15:14

商业人才网程序技术支持人员说,防控数据恶意采集只能向服务器供应商购买防护软件来实现!
在网上查询了一些反爬的资料,我觉得可以在程序上做改进和预防,已经向程序提供商提工单,但是短时间他们不会解决!

0724job | 园豆:69 (初学一级) | 2022-02-28 16:47

@0724job: 是的,这个一般都要通过修改程序来解决

wang_yb | 园豆:4891 (老鸟四级) | 2022-02-28 23:13
其他回答(2)
0

先检查下具体是哪个进程占用太大

ycyzharry | 园豆:25639 (高人七级) | 2022-03-01 00:33
0

这是给人在抓数据?
快速点的方法 就是用nginx 做个限流吧
然后再观察一下是那几个ip很频繁请求,拉小黑屋一段时间

永远跟党走i | 园豆:1517 (小虾三级) | 2022-03-03 14:15
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册