首页 新闻 搜索 专区 学院

Excel数据处理方案

0
悬赏园豆:30 [待解决问题]

公司设备产出的数据基本在500M到10个G之间,但是一个excel在200m左右,只不过有很多个,刚开始我学习了Excel中的VBA去处理这些数据,在速度上一批数据在5-10分钟左右。不知道有没有更好的解决方案去处理这批数据,本来想把这些数据存放到数据库中在进行提取,但是光数据导入数据库的时间就花费不少时间。之前他们写的用python去处理,但是文件太大也会导致他的程序卡死,但是excel中提取的列与计算越多,肯定会越来越慢。

剑仙也风流的主页 剑仙也风流 | 初学一级 | 园豆:174
提问于:2022-06-21 15:27
< >
分享
所有回答(7)
0

用多线程了吗

飒沓流星 | 园豆:681 (小虾三级) | 2022-06-21 16:17

没有 宏里边也可以使用吗

支持(0) 反对(0) 剑仙也风流 | 园豆:174 (初学一级) | 2022-06-21 16:18

@剑仙也风流:
应该用不了。。。
多线程应该只有高级编程语言才会支持

支持(0) 反对(0) 飒沓流星 | 园豆:681 (小虾三级) | 2022-06-21 16:55

@剑仙也风流:
Python可以实现多线程,但是我不大会用,看看有没有大佬在

支持(0) 反对(0) 飒沓流星 | 园豆:681 (小虾三级) | 2022-06-21 16:56
0

在大数据时代,数据分析已经变得越来越受重视,数据报表处理首选python。

智客工坊 | 园豆:1269 (小虾三级) | 2022-06-21 21:36
0

有的数据库有批量复制(SqlBulkCopy)功能,试试用这个方法导入大量数据效果怎么样

会长 | 园豆:11057 (专家六级) | 2022-06-22 10:19

前几天看到一个MinIExcel,是一个开源的,它是由IO下File直接打开excel,视乎是分批次去读取的数据,但是我Excel中有10几个页,并且页与页Excel与Excel之间都存在ID的关系,使用这种方式去excel中查找数据更加的麻烦,在vba中我可以使用Find查找当前页是否存在ID相匹配的数据,如果当前页最后一行与当前处理ID相同,则打开下一个文件或下一个Sheet继续进行读取,但是vba打开excel与Find定位数据也不是很快,如果在数据库中,之间Where ID=N就能查询到

支持(0) 反对(0) 剑仙也风流 | 园豆:174 (初学一级) | 2022-06-24 15:08

用他的工具加载200M的数据会直接死掉

支持(0) 反对(0) 剑仙也风流 | 园豆:174 (初学一级) | 2022-06-24 15:08
0

1.Python 处理 excel (行列计算、数据处理) 首选 pandas (pandas.read_excel),接口内部也是依赖 openpyxl 和 xlrd 之类的;
2.openpyxl 和 xlrd 读取 excel 都是有行数限制的,如果遇到上限就把 excel 表拆分一下
3.pandas 读取出数据后 df 针对量级较大数据的处理 https://blog.csdn.net/zy_dreamer/article/details/124131187

〆灬丶 | 园豆:945 (小虾三级) | 2022-06-22 10:20
0

pandas读入,可尝试下拆分位多个小文件用python处理

Sunny-King | 园豆:202 (菜鸟二级) | 2022-06-22 11:57
0

这种东西一般懒得写代码,你如果用mysql写自然会比较慢(本身写入就是几个有牌子数据库中最慢的之一),ms全家桶就行了。

装个mssql,直接自带的工具就导进去了(这种工具sql server 第一个版本就提供了并且和office集成了),然后用sql studio写sql就行了。

至于数据分析视图,可以再回到excel 也可以 ms bi。

花飘水流兮 | 园豆:13267 (专家六级) | 2022-06-23 11:32

不行的 这个往sql写入的工具要自己去写一个 我前几天尝试将一个公司产出200M左右的文件批量迁移至SQLserver数据库,直接死掉了,要是能把数据入库确实很方便

支持(0) 反对(0) 剑仙也风流 | 园豆:174 (初学一级) | 2022-06-24 15:01
0

OLEDB驱动, 写一个工具,把数据导入数据库

风浪 | 园豆:2978 (老鸟四级) | 2022-06-27 13:05
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册