首页 新闻 会员 周边 捐助

spark 只分配2个executor,什么原因

0
悬赏园豆:60 [已关闭问题] 关闭于 2019-08-13 09:06

spark-submit master为yarn。命令如下:
spark-submit --master yarn --deploy-mode cluster --class com.fooww.research.houserank.recommend.data.RentData --jars /root/fangwu/mysql-connector-java-8.0.16.jar,jedis-2.7.0.jar,spark-redis-0.3.2.jar --conf spark.default.parallelism=10 --conf spa
rk.cores.max=10 --conf spark.executor.cores=1 --conf spark_executor_instances=5 --conf num-executor=5 fangwu-spark-1.0.0.jar

为什么执行之后,还是只分配了两个executor?

周周周文阳的主页 周周周文阳 | 初学一级 | 园豆:10
提问于:2019-08-02 13:29
< >
分享
所有回答(1)
0

--conf num-executor=5
改成 --num-executor 5

周周周文阳 | 园豆:10 (初学一级) | 2019-08-13 09:06
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册