请问有哪位博主遇到过power bi加载千万级数据的情况,如何解决,目前我采用的是连接obiee data model缓存数据到power bi,数据库用的是sybase iq,在线求解,谢谢
1.Power BI Premium版有增量刷新数据的功能,可以设置时间段内的刷新。但是Premium收费十分昂贵。
2.如果只是本地加载数据,不是在Power BI Service上刷新数据,千万级速度其实还可以忍受,网速也是也是一个制约因素,我们几百万条数据数据在国内(Azure SQL),用的Power BI Service海外版刷新数据经常2个多小时,换成国内版Power BI只需要几分钟。
3.可以Power BI里分割表,然后再UNION起来,可以设置单个表不刷新数据。只是这个办法稍微麻烦一点。Power BI里分割表,数据源不需要的。
当然还有其他的办法,如果只是看汇总的话可以通过写试图或者其他的办法统计出结果再加载到PowerBI中;还有可以通过加载csv/json之类的文件方式比读数据库要快很多。
看一下上面的图,很直观知道没有ETL工具,在面对一下数据处理时会遇到很多的问题,大量数据只是其中之一。有ETL工具快速构建数据仓库,可以解决很多ETL过程中的问题。给你推荐一个我正在体验的免费ETL工具SE-DWA,下载地址:http://demo.cn-bi.com/?fromvalue=17 视频地址:http://www.cn-bi.com/video/