首页新闻找找看学习计划

大文本文件正则匹配的效率问题

0
悬赏园豆:10 [已关闭问题] 关闭于 2015-11-19 15:20

大文本文件 主要是日志文件,现在需要把日志文件中的内容匹配出来分析,测试显示匹配的耗时非常低,但是不知道为什么访问或者遍历结果集中,却非常慢。

使用多线程处理 效率也没进行很大的变化,还有使用大量数据的时候使用DataTable好还是List存储好~~

测试如图:

问题补充:

假设 文件有100M大

YangChengHu的主页 YangChengHu | 初学一级 | 园豆:11
提问于:2015-11-11 17:39
< >
分享
所有回答(2)
0

大文件只能用流处理。 

吴瑞祥 | 园豆:28675 (高人七级) | 2015-11-12 09:48
0

使用shell中已有的grep组合一下即可用,windows下有cygwin

如果要自己写代码,可以参考grep的源代码

2012 | 园豆:18865 (专家六级) | 2015-11-12 15:08
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册