spark Dataset<Row>如何按行获取数据

悬赏园豆：100 [已解决问题] 解决于 2019-02-22 17:19

需求：要把spark的数据转为json数据，collectAsLIst()返回LIst，但是如果数据量太大，内存肯定不够，所以有什么办法可以一行一行获取
看到limit（n）方法也只能获取前n的数据

spark

沃泽法克 | 初学一级 | 园豆：67
提问于：2019-02-21 11:07

< >

最佳答案

使用foreachParttition可以遍历

沃泽法克 | 初学一级 |园豆：67 | 2019-02-22 17:18

其他回答(1)

应该可以 Skip() 已读过的行，再配合 limit() 应该就能实现分页读取数据

收获园豆：100

蝌蝌 | 园豆：158 (初学一级) | 2019-02-22 10:42

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。