数据采集可以导致服务器CPU占满，网站无法访问吗？
0
悬赏园豆：30
[已解决问题]
解决于 2023-05-28 11:19
我们的网站是地方招聘求职网站（地级市），购买的某商业人才网程序(PHP+My SQL)，这段时间，网站服务器经常出现CPU占满，网站无法访问的情况。
商业人才网程序技术支持人员说，这是因为数据采集造成的。
请问数据采集可以导致服务器CPU占满，网站无法访问吗？如何解决呢？程序上能够防控吗？如果采用防火墙，或服务器安全策略，改如何设置？
我们的服务器是阿里云服务器，用的是Linux系统。
问题补充：
通过百度统计观察，网站访问量较小，通过配置部署网站的宝塔查看网站日志，数据采集较频繁，已经将近50组IP拉近黑名单，但是隔几天有出现新的IP，并且数量较多，今天上午又出现了服务器CPU占用60%左右，网站无法访问的情况，重新启动服务器几次，封禁了一些IP，网站勉强恢复访问，但这样下去肯定还会反复出现这个问题
给商业人才网供应商提了工单，打了电话，给他们说反复出现这个问题，网站无法运营，要求他们改进程序，他们回复目前改进不了程序，只说封禁了IP的方法，并说购买商业软件来防护，问题是他们写的程序要别的软件来防护，哪有这样的软件
最佳答案
0
你说的数据采集是别人的爬虫吧。
搜索下反爬的方案，有很多限制的方式。
收获园豆：30
商业人才网程序技术支持人员说，防控数据恶意采集只能向服务器供应商购买防护软件来实现！
在网上查询了一些反爬的资料，我觉得可以在程序上做改进和预防，已经向程序提供商提工单，但是短时间他们不会解决！
@0724job: 是的,这个一般都要通过修改程序来解决
其他回答(2)
0
先检查下具体是哪个进程占用太大
0
这是给人在抓数据？
快速点的方法 就是用nginx 做个限流吧
然后再观察一下是那几个ip很频繁请求，拉小黑屋一段时间
最后购买了WAF软件，开启了防CC攻击等功能，问题基本得以解决，谢谢各位的帮助！
– 0724job 1年前