首页 新闻 会员 周边 捐助

定时抓取数据写到数据库

0
悬赏园豆：20 [已关闭问题] 关闭于 2012-12-14 16:49

比如 我要抓取某个新闻网站的第一条新闻标题。每天12点抓，然后在把这条标题保存的自己的数据库里。。  asp.net里 怎么实现定时。。。

1行受影响的主页 1行受影响 | 初学一级 | 园豆：113
提问于：2012-11-07 16:14
< >
分享
所有回答(7)
0

新闻网站都有rss输出吧，对其rss进行分析就可以了

如果在winform里就好实现了：定个timer 触发时间为24小时，Tick事件里写代码抓取新闻名称

可以通过httprequest下载源码 然后正则截取出来新闻标题  弊端：电脑得一直开着运行程序

oppoic | 园豆：770 (小虾三级) | 2012-11-07 16:32

我说的某个新闻网站是个比喻，网站没RSS的。。程序是BS模式的，会一直开着放在IIS里。。。  timer在asp.net 里怎么写的？？

支持(0) 反对(0) 1行受影响 | 园豆：113 (初学一级) | 2012-11-07 16:37

@LinkButton: 不知道你们项目怎么是什么样的 我说了下我的思路罢了

我的方法肯定行的通，你最终要的结果不就是把标题放到数据库么，BS里能做最好 不能做 用cs的做能实现，缺点就是程序得每天跑 每隔24小时触发一次 触发就去采标题 很easy其实，当然如果有其他好方法 不建议使此笨方法

支持(0) 反对(0) oppoic | 园豆：770 (小虾三级) | 2012-11-07 16:45
0

jquery 里面setInterval（）这个方法是每过多少时间执行一次，你控制下，应该能解决你的问题

学学学习 | 园豆：427 (菜鸟二级) | 2012-11-07 17:21
0

可以用网站的地址抓取网页源码，新闻标题也应该都是有规律的，用正则表达式过滤应该就能拿到。

MasterWei | 园豆：223 (菜鸟二级) | 2012-11-07 22:55

那定时执行呢，怎么实现？

支持(0) 反对(0) 1行受影响 | 园豆：113 (初学一级) | 2012-11-08 09:11

@LinkButton: 如果非要放在站点里面可以把执行方法放在Application_Start里面吧，加一个时间间隔的定时器。

支持(0) 反对(0) MasterWei | 园豆：223 (菜鸟二级) | 2012-11-08 09:18
0

把httpwebrequest 写在  windows server里面

sym_cn | 园豆：798 (小虾三级) | 2012-11-08 10:25

详细点呗。。

支持(0) 反对(0) 1行受影响 | 园豆：113 (初学一级) | 2012-11-08 11:17

@LinkButton: 我意思是 创建一个Windows Services   吧 用HttpWebRequest 请求 制定的新闻网站，利用正则抓取出来。   Windwos Services 定义的规则就是 每晚12点。 

支持(0) 反对(0) sym_cn | 园豆：798 (小虾三级) | 2012-11-08 11:22
0

哈哈，我也想知道怎么实现

jerry-Tom | 园豆：4077 (老鸟四级) | 2012-11-08 15:26
0

我建议用winform和asp.net两个一起使用，winform是定时触发asp.net上的某个页面，而这个页面就去抓取你想要的新闻即可。思路是这样，实现应该不难

三歪猫 | 园豆：225 (菜鸟二级) | 2012-11-08 17:49

站点是要发布到服务器的。还是不够人性化。

支持(0) 反对(0) 1行受影响 | 园豆：113 (初学一级) | 2012-11-08 17:51
0

推荐使用神箭手云爬虫做数据抓取，分布式的很快

wangm_xjtu | 园豆：224 (菜鸟二级) | 2016-05-25 15:04
清除回答草稿
   您需要登录以后才能回答，未注册用户请先注册。