项目需要,我写了个程序。
逻辑很简单。 有15000个不同的字符串、、
要去大概4000个文件中去匹配。。替换成固定编码格式。。。
1个字符串。进去。运行1个文件替换。需要0.005秒。。最普通的代码写法。。读出。修改。写入。
这样循环替换完4000个。。需要20秒一次。。。(4000个文件其实只有一两个是有那个字符串的。。但你不知道哪两个)
但是。。这样的过程需要15000次。。因为有15000个不同的字符串在等着。。。
这样我计算了下。。。需要3.4天的样子。。我挂在了服务器上运行。。但还是等不及。。 急求高手解决此问题。。
for (int m = 0; m < files.Count; m++)//files.Count有四千。。、
{ try
{ StreamReader sr = new StreamReader(files[m].ToString(), Encoding.GetEncoding("utf-8"));
string str = sr.ReadToEnd(); sr.Close(); //替换文本
if (str.Contains(oldCon))
{ str = str.Replace(oldCon, newCon); have = true; } //更改保存文本
StreamWriter sw = new StreamWriter(files[m].ToString(), false);
sw.WriteLine(str); sw.Close(); }
catch { continue;//某文件如有问题。继续。。文件列表已经过处理。不会有问题。。、 } }
4000个文件的大小是多少?可以考虑加内存里,或者分几批加入内存。先读所有文件到HashTable里,并对应各文件名或其它防止重复,替换字段串在内存中保存,完事后再保存,但是要防止数据丢失。
也可以用多线程,开N个线程去处理这些操作。
关注,学习
应该反过来处理吧。
一个文件处理完1.5W个字符串之后,换下一个文件
就是一个文件一个文件的处理
一个字符串在4000个文件处理,相当于要把4000个文件打开1.5万次,并加载到内存中