SPARK调度流,请帮助解惑
0
[待解决问题]
1. 每个Worker起动都向Master 注册,登记在workers中,每个Worker也满足每个TASK 需要的CORES
2. 简单起见,就设定 每台机器只起一个Worker ,现在有 A-J 10个Worker注册了
3. 假设现在 来了个新应用 ,输入源只在上面的 A-D台机器上,RDD假设也就4个Partition吧,每个Partition对应的preferredLocations也只有一个吧,也就是Partition分别对应A,B,C,D Worker
4. 现在执行schedule() 方法,首先就要APPLICATION资料分配
我现在的问题
A.我看资源分配算法是随机平摊,那是否可能会分摊到了 G,H,I,J ?
B.如果分摊不到这4台机器是什么原因?
C.如果能够分摊到了 G,H,I,J 这4台机器,那不是跟TaskLocality没有一点关系了? 怎么要确保分摊到 preferredLocations 对应A,B,C,D
整个调度流程看了好几回,有看了几回 网上买的书 实在没有看懂,可能理解本身有误,造成了上面的困扰,请帮助解惑
所有回答(1)
0
没看懂什么意思，说详细点