首页 新闻 赞助 找找看

定时抓取数据写到数据库

0
悬赏园豆:20 [已关闭问题] 关闭于 2012-12-14 16:49

比如 我要抓取某个新闻网站的第一条新闻标题。每天12点抓,然后在把这条标题保存的自己的数据库里。。  asp.net里 怎么实现定时。。。

1行受影响的主页 1行受影响 | 初学一级 | 园豆:113
提问于:2012-11-07 16:14
< >
分享
所有回答(7)
0

新闻网站都有rss输出吧,对其rss进行分析就可以了

如果在winform里就好实现了:定个timer 触发时间为24小时,Tick事件里写代码抓取新闻名称

可以通过httprequest下载源码 然后正则截取出来新闻标题  弊端:电脑得一直开着运行程序

oppoic | 园豆:770 (小虾三级) | 2012-11-07 16:32

我说的某个新闻网站是个比喻,网站没RSS的。。程序是BS模式的,会一直开着放在IIS里。。。  timer在asp.net 里怎么写的??

支持(0) 反对(0) 1行受影响 | 园豆:113 (初学一级) | 2012-11-07 16:37

@LinkButton: 不知道你们项目怎么是什么样的 我说了下我的思路罢了

我的方法肯定行的通,你最终要的结果不就是把标题放到数据库么,BS里能做最好 不能做 用cs的做能实现,缺点就是程序得每天跑 每隔24小时触发一次 触发就去采标题 很easy其实,当然如果有其他好方法 不建议使此笨方法

支持(0) 反对(0) oppoic | 园豆:770 (小虾三级) | 2012-11-07 16:45
0

jquery 里面setInterval()这个方法是每过多少时间执行一次,你控制下,应该能解决你的问题

学学学习 | 园豆:427 (菜鸟二级) | 2012-11-07 17:21
0

可以用网站的地址抓取网页源码,新闻标题也应该都是有规律的,用正则表达式过滤应该就能拿到。

MasterWei | 园豆:223 (菜鸟二级) | 2012-11-07 22:55

那定时执行呢,怎么实现?

支持(0) 反对(0) 1行受影响 | 园豆:113 (初学一级) | 2012-11-08 09:11

@LinkButton: 如果非要放在站点里面可以把执行方法放在Application_Start里面吧,加一个时间间隔的定时器。

支持(0) 反对(0) MasterWei | 园豆:223 (菜鸟二级) | 2012-11-08 09:18
0

把httpwebrequest 写在  windows server里面

sym_cn | 园豆:798 (小虾三级) | 2012-11-08 10:25

详细点呗。。

支持(0) 反对(0) 1行受影响 | 园豆:113 (初学一级) | 2012-11-08 11:17

@LinkButton: 我意思是 创建一个Windows Services   吧 用HttpWebRequest 请求 制定的新闻网站,利用正则抓取出来。   Windwos Services 定义的规则就是 每晚12点。 

支持(0) 反对(0) sym_cn | 园豆:798 (小虾三级) | 2012-11-08 11:22
0

哈哈,我也想知道怎么实现

jerry-Tom | 园豆:4077 (老鸟四级) | 2012-11-08 15:26
0

我建议用winform和asp.net两个一起使用,winform是定时触发asp.net上的某个页面,而这个页面就去抓取你想要的新闻即可。思路是这样,实现应该不难

三歪猫 | 园豆:225 (菜鸟二级) | 2012-11-08 17:49

站点是要发布到服务器的。还是不够人性化。

支持(0) 反对(0) 1行受影响 | 园豆:113 (初学一级) | 2012-11-08 17:51
0

推荐使用神箭手云爬虫做数据抓取,分布式的很快

wangm_xjtu | 园豆:224 (菜鸟二级) | 2016-05-25 15:04
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册