首页 新闻 会员 周边 捐助

如何修改spark资源上传目录

0
[待解决问题]

yarn.Client: Uploading resource file:/tmp/spark-6947d690-9749-43bd-8d9a-e14e8ccc1138/__spark_libs__3170539481839891703.zip -> hdfs://node4:9000/user/root/.sparkStaging/application_1623053077163_0001/__spark_libs__3170539481839891703.zip

如上一段SPARK日志输出，请问如何修改上传的目录，也就是 将hdfs://node4:9000/user/root/...目录修改为其他目录

dabiao_z的主页 dabiao_z | 菜鸟二级 | 园豆：204
提问于：2021-06-07 16:26
< >
分享
所有回答(1)
0

在 spark-defaults.conf 里设置属性 spark.yarn.stagingDir

dabiao_z | 园豆：204 (菜鸟二级) | 2021-06-08 13:14
清除回答草稿
   您需要登录以后才能回答，未注册用户请先注册。