用Python写出一个遍历网站所有url的小工具

悬赏园豆：60 [已解决问题] 解决于 2015-09-21 12:07

求思路求思路求思路求思路求思路求思路求思路求思路

python

GEEKc | 初学一级 | 园豆：39
提问于：2015-09-21 10:55

< >

最佳答案

python实现简单爬虫功能
或者直接用scrapy，专业的爬虫框架。帮你解决各种问题，只用自己稍微代码设置i 就既可以调用

收获园豆：55

请叫我头头哥 | 大侠五级 |园豆：9382 | 2015-09-21 11:04

熬得。我研究研究scrapy。

GEEKc | 园豆：39 (初学一级) | 2015-09-21 12:07

其他回答(2)

-1

1获取整个网站页面数据->2用正则表达式提取URL并放入数组->3循环每个URL并进行第一步。

收获园豆：5

JackWang-CUMT | 园豆：2866 (老鸟四级) | 2015-09-21 11:01

jb51是我最不喜欢的网站之一，全是广告！

支持(2) 反对(0) GEEKc | 园豆：39 (初学一级) | 2015-09-21 12:07

使用python爬虫工具pyspider

self.crawl(url, callback=self.index_page)

silianpan | 园豆：571 (小虾三级) | 2015-09-21 12:52

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。