关于爬取图片的问题，怎么爬取网站结构

悬赏园豆：20 [已解决问题] 解决于 2016-11-28 10:40

比如，给定一个网站的首页，然后爬取图片这个没问题，但是怎么爬取网站的所有图片呢？就是网站的目录结构

爬虫

梦里的畅泳 | 初学一级 | 园豆：159
提问于：2016-11-25 13:20

< >

最佳答案

通过先抓取首页上的有效链接，再去爬这个链接对应的页面上的图片，有链接的继续抓取链接，如此重复，再根据需要定个爬取层次的深度，达到这个层次，就停止抓取链接

收获园豆：20

qsy | 初学一级 |园豆：22 | 2016-11-25 14:40

其他回答(1)

建立链接树然后遍历所有的树节点

一般来说不会遍历所有的一般都是某几个特定的页面

例如漫画网站的明细页面

小眼睛老鼠 | 园豆：2731 (老鸟四级) | 2016-11-25 18:05

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。