首页新闻找找看学习计划

关于爬取图片的问题,怎么爬取网站结构

0
悬赏园豆:20 [已解决问题] 解决于 2016-11-28 10:40

比如,给定一个网站的首页,然后爬取图片这个没问题,但是怎么爬取网站的所有图片呢?就是网站的目录结构

梦里的畅泳的主页 梦里的畅泳 | 初学一级 | 园豆:169
提问于:2016-11-25 13:20
< >
分享
最佳答案
0

通过先抓取首页上的有效链接,再去爬这个链接对应的页面上的图片,有链接的继续抓取链接,如此重复,再根据需要定个爬取层次的深度,达到这个层次,就停止抓取链接

收获园豆:20
qsy | 初学一级 |园豆:92 | 2016-11-25 14:40
其他回答(1)
0

建立 链接树 然后遍历 所有的树节点

 

一般来说 不会遍历所有的 一般都是某几个特定的页面

例如漫画网站的 明细页面

小眼睛老鼠 | 园豆:2771 (老鸟四级) | 2016-11-25 18:05
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册