首页 新闻 会员 周边 捐助

spark在单线程单分区下,还会存在宽依赖吗

0
悬赏园豆:15 [已关闭问题] 关闭于 2021-06-21 14:28

我们都知道spark的stage是通过宽依赖进行划分。其根本原因是在错误恢复时,能够确定从哪一步进行数据恢复。窄依赖可以确定唯一的恢复源,而宽依赖无法确定恢复源,所以需要结果stage划分,进行一段数据存储划分。

但是当我们只有单核、单线程、单分区的情况下,理论上shuffle已经没有任何意义了,这个时候还会存在宽依赖吗

周周周文阳的主页 周周周文阳 | 初学一级 | 园豆:10
提问于:2021-05-11 13:31
< >
分享
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册