首页 新闻 赞助 找找看

关于查询一张很久不会变化的表,提高效率的问题

0
[已解决问题] 解决于 2016-10-11 10:27

如题,我有一张大概1000万条数据的表,这个表的记录一个月都不会变化一次,查询语句类似num between xxx and xxx or num between xxx and xxx,每次会查询出来一批数据,暂时懂得只有SQL语句查询数据库和一次性把数据读取到DataTable中然后select,这两种方法,有没有更高效的办法? 

问题补充:

开发语言C#,求大神赐教,服务器配置不是太大的问题,都是联想E7的服务器,内存64+

MSky的主页 MSky | 菜鸟二级 | 园豆:436
提问于:2016-10-09 14:50
< >
分享
最佳答案
1

加索引应该会快一些。

用缓存比较好,上面兄弟提到的,去了解下memcache 像这种缓存机制是存储在内存中,每隔一天提取一次数据,缓存失效时间。

奖励园豆:5
维依 | 初学一级 |园豆:16 | 2016-10-10 13:24

刚看了点memcache的资料,感觉受点启发,回来可以研究下,索引那些肯定都建了,要没索引速度慢上天,使用情况比较特殊,条件非常多

写个sql例子吧,这只是其中的一步而已,其实还要join很多表,再把查询出的数据通过一个列group by,然后再统计count,中间还有几张表是Tree结构需要做递归

select mass from TableA where mass between 1000 and 1002 and mass between 1004 and 1005...

光这个between条件就有200-800个,从这一步需要过滤出来大概100-200万条数据,然后再对这200万条数据做N步处理,把mass列做上索引,这个过程下来,全部需要大概1分钟时间,通过线程池的话还不敢开的太多

MSky | 园豆:436 (菜鸟二级) | 2016-10-11 10:24
其他回答(3)
1

大概会查出多少数据?

顾晓北 | 园豆:10844 (专家六级) | 2016-10-09 14:52

实际业务要比那个语句复杂,用到多表连接以及递归查询以及通过group by 进行count计算等,最终只有10条数据,纯SQL效率不太高,我想把数据全部加载到内存中,然后通过逐步的过滤统计得到最后结果,这样会不会效率高一些

支持(0) 反对(0) MSky | 园豆:436 (菜鸟二级) | 2016-10-09 14:58

@MSky: 既然一个月都不太可能变动一次,那就查出来以后放缓存里呗。。。

支持(1) 反对(0) 顾晓北 | 园豆:10844 (专家六级) | 2016-10-09 14:59

@顾晓北: 没有用过缓存,不太懂这个,之前搜了关于缓存,都是说添加SQL依赖缓存的,也没弄太明白,每次去数据库全表扫描,导致cpu全是满负载,有缓存方面的资料可以提供么

支持(0) 反对(0) MSky | 园豆:436 (菜鸟二级) | 2016-10-09 15:01

@MSky: 缓存跟缓存依赖两个东西,缓存依赖的作用就是该清除缓存的时候自动清除缓存。。。你这一个月都不太可能变动的数据,完全可以不用缓存依赖,每天跑一次数据,放到缓存里就可以。

支持(0) 反对(0) 顾晓北 | 园豆:10844 (专家六级) | 2016-10-09 15:04

@MSky: 想找缓存依赖的相关信息搜sqlcachedependency,这个只是sqlserver的,而且需要sqlserver的功能配合,还有文件缓存依赖,比如一个文件被修改了,缓存自动清除。。。

支持(0) 反对(0) 顾晓北 | 园豆:10844 (专家六级) | 2016-10-09 15:06
0

先优化吧.索引加够了再说.

吴瑞祥 | 园豆:29449 (高人七级) | 2016-10-09 15:33
0

才1千万数据,加个index,速度飞起

czd890 | 园豆:14292 (专家六级) | 2016-10-09 17:56

 要只是通过几个简单条件select ,一个亿数据也慢不到哪哎

支持(0) 反对(0) MSky | 园豆:436 (菜鸟二级) | 2016-10-11 10:26
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册