用nodejs写的爬虫脚本,在本地运行还好,挂在服务器上,内存会一直在涨,有时候数据库也会在不特定的时期,内存飙到很高,我想问问各位大神有没有遇到过的,该怎么解决,求指导,谢谢
目前我把所有的url爬取到,然后一个一个页面去爬取,然后入库,但是数据库有时占的cpu能达到80%多,
增加服务器配置
目前8核8g的,