首页 新闻 会员 周边
1
回答数

待解决问题 pyhive查询数据缓存式处理 方式

我这边需要将hive表中的数据全部导出,但是担心数据过多,导致内存不足,无法处理,因此需要采用缓存式处理方式,如先从hive中查询出1000条数据,写入到文件中,然后再查询出1000条数据,再写入,依