首页新闻找找看学习计划

pyhive查询数据缓存式处理 方式

0
[待解决问题]

我这边需要将hive表中的数据全部导出,但是担心数据过多,导致内存不足,无法处理,因此需要采用缓存式处理方式,如先从hive中查询出1000条数据,写入到文件中,然后再查询出1000条数据,再写入,依次进行,直至写完为止,我知道java中有这种缓存的机制,但是不知道python中是否有?或者pyhive中是否有?

jumin16的主页 jumin16 | 菜鸟二级 | 园豆:202
提问于:2019-08-31 07:19
< >
分享
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册