首页 新闻 搜索 专区 学院
当前位置:博问标签/spark/未解决/ 已解决
0
回答数

待解决问题 有没有大数据开发的QQ/微信群,想一起交流技术

如题。主要是想了解下各行各业各公司的大数据应用情况,方便规划自己的职业,做更好的学习安排
1
回答数

待解决问题 20 spark-shell报错

spark报错信息: /etc/profile文件 spark-env.sh文件 有没有大佬可以解决一下。
1
回答数

待解决问题 如何修改spark资源上传目录

yarn.Client: Uploading resource file:/tmp/spark-6947d690-9749-43bd-8d9a-e14e8ccc1138/__spark_libs__3
0
回答数

待解决问题 5 spark-submit提交带有kerberos访问认证的HBase的任务时,读取不到krb5.conf文件

寻求各位大佬的帮忙!!! 在进行编写spark程序时,需要从HBase中读写数据,最近HBase集群进行了kerberos的认证,我在代码中进行了HBase的kerberos认证配置之后,kerber
3
回答数

待解决问题 10 spark下载

请问spark版本下拉框打开不了,版本不能选,换了浏览器也不行,大家都怎么下载的呀? 官网 http://spark.apache.org/downloads.html
0
回答数

待解决问题 10 spark任务的某个stage执行时间过长,应该如何调优?(附上DAG图)

是用 pyspark写的,附上 sparkui 里显示耗时阶段的 DAG图:
0
回答数

待解决问题 30 在Spark 中对Hive 进行操作

在pyspark中: from pyspark import HiveContext hive_context = HiveContext(sc) hive_context.sql('use spar
1
回答数

待解决问题 spark 分布式写数据到oracle

大家有spark 分布式写数据到oracle 的相关代码或资源吗? 新手求学习介绍
1
回答数

待解决问题 SPARK调度流,请帮助解惑

1. 每个Worker起动都向Master 注册,登记在workers中,每个Worker也满足每个TASK 需要的CORES2. 简单起见,就设定 每台机器只起一个Worker ,现在有 A-J 1
0
回答数

待解决问题 30 利用spark读取csv文件乱码问题

先上scala代码 val conf = new SparkConf().setAppName("Test1").setMaster("local") val sparkContext = new S
2
回答数

待解决问题 50 idea+spark+streaming+kafka报错

哪位大神指教一下,十分感谢 1.源码 def main(args: Array[String]) { val conf = new SparkConf().setAppName("stream tes
0
回答数

待解决问题 如何用scala求积分函数?

求得一组数据,符合正太累积分布,想求得对应的概率值。按需用scala进行编写,但是scala没有对应的包,求问如何用scala或者RDD求正太累积分布函数,或者是如何用scala求积分函数,希望能理解
0
回答数

待解决问题 Spark 程序本地测试的时候报错unread block data 但是在集群上运行是正常的

Spark 本地测试的是时候setMaster 设置为spark主节点就会出现unread block data 求大神解决
0
回答数

待解决问题 5 spark-submit 提交spark streaming 作业,提交作业后执行2s 后自动停止

问题是这样的我用spark-submit 提交作业,提交2s后自动停止 package com.itcchina.zs57s.pcap.receive.handle;import ItcWorkFlo
0
回答数

待解决问题 Couldn't find leaders for Set([ws2,0])

sparkStreaming运行了51分钟挂了,再启动报错继续报错。 起初以为zookeeper的leader节点有问题,查看以后正常,程序没改动,咋出现这错误
0
回答数

待解决问题 50 spark1.6.0的源码怎么导入idea?

spark1.6.0的源码怎么导入idea?我说的源码不是预编译好的源码。求大神们的帮忙