首页 新闻 搜索 专区 学院

用Python写出一个遍历网站所有url的小工具

0
悬赏园豆:60 [已解决问题] 解决于 2015-09-21 12:07

求思路求思路求思路求思路求思路求思路求思路求思路

GEEKc的主页 GEEKc | 初学一级 | 园豆:39
提问于:2015-09-21 10:55
< >
分享
最佳答案
0

python实现简单爬虫功能
或者直接用scrapy,专业的爬虫框架。帮你解决各种问题,只用自己稍微代码设置i 就既可以调用

收获园豆:55
请叫我头头哥 | 大侠五级 |园豆:9382 | 2015-09-21 11:04

熬得。我研究研究scrapy。

GEEKc | 园豆:39 (初学一级) | 2015-09-21 12:07
其他回答(2)
-1

1获取整个网站页面数据->2用正则表达式提取URL并放入数组->3循环每个URL并进行第一步。

 

http://www.jb51.net/article/40529.htm

收获园豆:5
JackWang-CUMT | 园豆:2866 (老鸟四级) | 2015-09-21 11:01

jb51是我最不喜欢的网站之一, 全是广告!

支持(2) 反对(0) GEEKc | 园豆:39 (初学一级) | 2015-09-21 12:07
0

使用python爬虫工具pyspider

self.crawl(url, callback=self.index_page)

silianpan | 园豆:571 (小虾三级) | 2015-09-21 12:52
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册