我用node写了个爬虫,现在遇到一些问题。
比如:1.http.creatserver(onrequest)执行两次,一次请求/,一次/favicon.ico,在网上找了方法,虽说修改改了之后只能执行一次,但是后续却不往下执行了。确实找不到方法解决。唯一的办法就是(在刷新一次,他就会执行,怪啦,真的是怪了哟)
function onRequest(req, res) {
if (req.url === '/favicon.ico') {
res.writeHead(200, {'Content-Type': 'text/html;charset=utf-8'});
res.end();
console.log('favicon requested');
return;
}
if(pageUrls.length==pageNum2){ //爬数据的函数 此函数会运行两次
func1(func2,res);
}
res.writeHead(200, {'Content-Type': 'text/html;charset=utf-8'});
res.end()
}
http.createServer(onRequest).listen(8080,"127.0.0.1");