现在有一百万条数据,通过什么样的方式插入到数据库中,考虑性能,安全,速度,等因素,
.net的,请大侠们说下思路吧
一百万条数据而已,如果不是天天搞,一次性的,管他什么性能,安全,速度。你不至于研究半年就为了节省半天或是半个小时的时间吧。
如果每天都要弄的话,就得挑服务器不忙的时候。
如果每个小时或是每分钟都要搞的话,那说明系统方案设计有问题了。
大侠们的思路是.....请你先描述清楚你这一百万条数据是如何存储的,格式是什么样子,插入什么数据库,与数据库中表的关系是什么,你要如何部署这个方案?
输入写入的话,可以用SqlBulkCopy~,不知道你的数据源是啥?
可以使用bcp命令
可以参考:http://blog.sina.com.cn/s/blog_75a555e401019azp.html
写一个Job,插入时每一千条歇5秒,这样不会太影响数据库性能,当然Job的执行时间和有无与其它Job同时执行冲突等问题得考虑,这个你们公司如果有DBA他会要求你这样做的。
不知道你要插入的是什么数据库呢?插入海量数据库个人知道有三种方式,一种是拼接sql语句插入;一种是在EF下插入到代理类后SaveChanges一下,当然若是MSSqlServer数据库的话推荐用二楼的SqlBulkCopy,