首页 新闻 搜索 专区 学院

nodejs爬虫脚本存库脚本放在服务器上,内存一直再涨

0
悬赏园豆:30 [已解决问题] 解决于 2018-07-06 15:14

用nodejs写的爬虫脚本,在本地运行还好,挂在服务器上,内存会一直在涨,有时候数据库也会在不特定的时期,内存飙到很高,我想问问各位大神有没有遇到过的,该怎么解决,求指导,谢谢

问题补充:

目前我把所有的url爬取到,然后一个一个页面去爬取,然后入库,但是数据库有时占的cpu能达到80%多,

往事,只是隔岸的风景的主页 往事,只是隔岸的风景 | 初学一级 | 园豆:149
提问于:2018-07-06 08:40
< >
分享
最佳答案
0

增加服务器配置

收获园豆:30
ycyzharry | 高人七级 |园豆:21002 | 2018-07-06 09:54

目前8核8g的,

往事,只是隔岸的风景 | 园豆:149 (初学一级) | 2018-07-06 10:02
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册