首页 新闻 会员 周边 捐助

spark submit 运行多个任务问题，求大神解答

0
悬赏园豆：20 [已解决问题] 解决于 2018-03-22 11:01

 我用的是独立模式，2个application 提交的参数是： --master spark://spark-1:7077 --executor-memory 4g  --driver-memory 2g --total-executor-cores 12 --executor-cores 4  ，为什么后面一个application一直处于等待状态？

嘿嘿果宝的主页 嘿嘿果宝 | 初学一级 | 园豆：32
提问于：2017-12-08 19:27
< >
分享
最佳答案
1

已经解决，妹的机器被挖矿进程占了所有的cpu造成其他进程排队，把挖矿进程解决掉了，后面重新启动第二个spark任务就直接running状态了。

嘿嘿果宝 | 初学一级 |园豆：32 | 2017-12-13 10:48
其他回答(1)
0

也能证明一件事,spark的application在向schedulerbackend申请不到core时会等待，等待时间相比应该会有个默认值

OldDell | 园豆：202 (菜鸟二级) | 2021-08-29 16:14
清除回答草稿
   您需要登录以后才能回答，未注册用户请先注册。