首页 新闻 赞助 找找看

spark submit 运行多个任务问题,求大神解答

0
悬赏园豆:20 [已解决问题] 解决于 2018-03-22 11:01

 我用的是独立模式,2个application 提交的参数是: --master spark://spark-1:7077 --executor-memory 4g  --driver-memory 2g --total-executor-cores 12 --executor-cores 4  ,为什么后面一个application一直处于等待状态?

嘿嘿果宝的主页 嘿嘿果宝 | 初学一级 | 园豆:32
提问于:2017-12-08 19:27
< >
分享
最佳答案
1

已经解决,妹的机器被挖矿进程占了所有的cpu造成其他进程排队,把挖矿进程解决掉了,后面重新启动第二个spark任务就直接running状态了。

嘿嘿果宝 | 初学一级 |园豆:32 | 2017-12-13 10:48
其他回答(1)
0

也能证明一件事,spark的application在向schedulerbackend申请不到core时会等待,等待时间相比应该会有个默认值

OldDell | 园豆:202 (菜鸟二级) | 2021-08-29 16:14
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册