首页 新闻 会员 周边 捐助

spark-submit提交py代码提示资源不足疑问

0
[已关闭问题] 关闭于 2021-07-23 16:50

spark-submit问题求助,具体情况如下:(目的是使用py代码连接hbase获取相应数据)

  1. 进入pyspark交互环境下的yarn模式,可以在RM的UI界面看到相应的任务,也可以正常连接hbase获取数据。

  2. 使用spark-submit提交相同的py代码,也同样在yarn模式下,却无法正常执行。RM的UI中看不到相应的任务提交,执行过程中会一直提示:WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
    而如果结束该任务,在Spark的History Sever可以看到任务的提交记录。。

  3. 环境情况说明下:
    1)CDH-6.3.2的集成大数据平台安装了完整的spark, hadoop, hbase等;
    2)我测试过,pyspark的交互环境下,用local和yarn模式,都可以正常获取hbase数据。而如果用standalone模式,却不行,也是报资源不足的问题(进入这个交互环境的命令是 pyspark --master spark://r1:7077)
    3) 使用spark-submit方式提交任务,不论是local、yarn,还是standalone模式,都是提示资源不足的情况。
    恳请指点下,这个问题怎么解决??

老笨啊的主页 老笨啊 | 初学一级 | 园豆:6
提问于:2021-07-16 08:56
< >
分享
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册