首页 新闻 搜索 专区 学院

spark Dataset<Row>如何按行获取数据

0
悬赏园豆:100 [已解决问题] 解决于 2019-02-22 17:19

需求:要把spark的数据转为json数据,collectAsLIst()返回LIst,但是如果数据量太大,内存肯定不够,所以有什么办法可以一行一行获取
看到limit(n)方法也只能获取前n的数据

沃泽法克的主页 沃泽法克 | 初学一级 | 园豆:67
提问于:2019-02-21 11:07
< >
分享
最佳答案
0

使用foreachParttition可以遍历

沃泽法克 | 初学一级 |园豆:67 | 2019-02-22 17:18
其他回答(1)
0

应该可以 Skip() 已读过的行,再配合 limit() 应该就能实现分页读取数据

收获园豆:100
蝌蝌 | 园豆:158 (初学一级) | 2019-02-22 10:42
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册