Excel数据处理方案
0
悬赏园豆：30
[待解决问题]
公司设备产出的数据基本在500M到10个G之间，但是一个excel在200m左右，只不过有很多个，刚开始我学习了Excel中的VBA去处理这些数据，在速度上一批数据在5-10分钟左右。不知道有没有更好的解决方案去处理这批数据，本来想把这些数据存放到数据库中在进行提取，但是光数据导入数据库的时间就花费不少时间。之前他们写的用python去处理，但是文件太大也会导致他的程序卡死，但是excel中提取的列与计算越多，肯定会越来越慢。
所有回答(7)
0
用多线程了吗
没有 宏里边也可以使用吗
@剑仙也风流:
应该用不了。。。
多线程应该只有高级编程语言才会支持
@剑仙也风流:
Python可以实现多线程，但是我不大会用，看看有没有大佬在
0
0
有的数据库有批量复制（SqlBulkCopy）功能，试试用这个方法导入大量数据效果怎么样
前几天看到一个MinIExcel，是一个开源的，它是由IO下File直接打开excel，视乎是分批次去读取的数据，但是我Excel中有10几个页，并且页与页Excel与Excel之间都存在ID的关系，使用这种方式去excel中查找数据更加的麻烦，在vba中我可以使用Find查找当前页是否存在ID相匹配的数据，如果当前页最后一行与当前处理ID相同，则打开下一个文件或下一个Sheet继续进行读取，但是vba打开excel与Find定位数据也不是很快，如果在数据库中，之间Where ID=N就能查询到
用他的工具加载200M的数据会直接死掉
0
1.Python 处理 excel （行列计算、数据处理） 首选 pandas （pandas.read_excel），接口内部也是依赖 openpyxl 和 xlrd 之类的；
2.openpyxl 和 xlrd 读取 excel 都是有行数限制的，如果遇到上限就把 excel 表拆分一下
3.pandas 读取出数据后 df 针对量级较大数据的处理 https://blog.csdn.net/zy_dreamer/article/details/124131187
0
pandas读入，可尝试下拆分位多个小文件用python处理
0
这种东西一般懒得写代码，你如果用mysql写自然会比较慢（本身写入就是几个有牌子数据库中最慢的之一），ms全家桶就行了。
装个mssql，直接自带的工具就导进去了（这种工具sql server 第一个版本就提供了并且和office集成了），然后用sql studio写sql就行了。
至于数据分析视图，可以再回到excel 也可以 ms bi。
不行的 这个往sql写入的工具要自己去写一个 我前几天尝试将一个公司产出200M左右的文件批量迁移至SQLserver数据库，直接死掉了，要是能把数据入库确实很方便
0
OLEDB驱动， 写一个工具，把数据导入数据库
