首页 新闻 搜索 专区 学院

SPARK调度流,请帮助解惑

0
[待解决问题]

1. 每个Worker起动都向Master 注册,登记在workers中,每个Worker也满足每个TASK 需要的CORES
2. 简单起见,就设定 每台机器只起一个Worker ,现在有 A-J 10个Worker注册了
3. 假设现在 来了个新应用 ,输入源只在上面的 A-D台机器上,RDD假设也就4个Partition吧,每个Partition对应的preferredLocations也只有一个吧,也就是Partition分别对应A,B,C,D Worker
4. 现在执行schedule() 方法,首先就要APPLICATION资料分配
我现在的问题
A.我看资源分配算法是随机平摊,那是否可能会分摊到了 G,H,I,J ?
B.如果分摊不到这4台机器是什么原因?
C.如果能够分摊到了 G,H,I,J 这4台机器,那不是跟TaskLocality没有一点关系了? 怎么要确保分摊到 preferredLocations 对应A,B,C,D

整个调度流程看了好几回,有看了几回 网上买的书 实在没有看懂,可能理解本身有误,造成了上面的困扰,请帮助解惑

liuxinsudi的主页 liuxinsudi | 菜鸟二级 | 园豆:201
提问于:2017-10-14 09:39
< >
分享
所有回答(1)
0

没看懂什么意思,说详细点

这名字还可以改吗 | 园豆:202 (菜鸟二级) | 2017-10-14 12:53
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册