首页 新闻 会员 周边

微博高级搜索爬虫

0
悬赏园豆:15 [待解决问题]

请问哪位大佬有做过这方面的内容,求指导。

小程大序的猿的主页 小程大序的猿 | 初学一级 | 园豆:4
提问于:2019-08-07 19:46
< >
分享
所有回答(3)
0

你这标题看不懂

小小咸鱼YwY | 园豆:3210 (老鸟四级) | 2019-08-08 08:16

就是微博有个高级搜索功能,确定你要搜索的时间范围,内容范围什么的,之后筛选之后,在爬取

支持(0) 反对(0) 小程大序的猿 | 园豆:4 (初学一级) | 2019-08-08 15:47
0

先自己做,有问题再来问

Masako | 园豆:1893 (小虾三级) | 2019-08-08 11:33
0

你的需求: 微博有个高级搜索的功能,选择时间范围,内容范围,然后微博会筛选出一个 文章列表给你,你想模拟它,输入时间和内容范围,然后抓取这个文章列表是吧?
抓取步骤:

  1. 明确获取列表的接口是哪一个,你要知道获取文章列表的接口是哪一个,参数是哪一些,可以用浏览器的F12 抓请求分析。
  2. 调用这个接口需不需要先登录,需要的话你还要去查 微博的登录接口。
  3. 明确你要用的技术,比如我是用java,可以试着用webmagic框架。如果是c#,就看看c#有哪些爬虫框架。
  4. 如果你想做爬虫,可以先去了解一个爬虫框架,然后用一个简单的demo去练手,明白了大致地抓取流程,再去 抓微博这个,我没有抓过微博的,不知道复杂程度如何,但是流程基本都是相同的。 预祝成功。
Jinke2017 | 园豆:237 (菜鸟二级) | 2019-08-14 08:58
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册