首页新闻招聘找找看知识库
当前位置: 博问标签 /spark/未解决/ 已解决
1
回答数

SPARK调度流,请帮助解惑

1. 每个Worker起动都向Master 注册,登记在workers中,每个Worker也满足每个TASK 需要的CORES2. 简单起见,就设定 每台机器只起一个Worker ,现在有 A-J 1
0
回答数

30 利用spark读取csv文件乱码问题

先上scala代码 val conf = new SparkConf().setAppName("Test1").setMaster("local") val sparkContext = new S
2
回答数

50 idea+spark+streaming+kafka报错

哪位大神指教一下,十分感谢 1.源码 def main(args: Array[String]) { val conf = new SparkConf().setAppName("stream tes
0
回答数

30 pyspark中逻辑回归模型的 导出和使用问题

使用 pyspark LogisticRegressionWithLBFGS 训练得到多分类模型 1.如何将模型导出,使得python的sklearn 可以导入该模型 中间查了资料,说是可以导出成pm
1
回答数

50 spark 运行在yarn上

进程: [itsels@hadoop spark--bin-2.5.0-cdh5.3.6]$ jps 2390 HistoryServer 2521 ResourceManager 2578 Node
0
回答数

如何用scala求积分函数?

求得一组数据,符合正太累积分布,想求得对应的概率值。按需用scala进行编写,但是scala没有对应的包,求问如何用scala或者RDD求正太累积分布函数,或者是如何用scala求积分函数,希望能理解
0
回答数

Spark 程序本地测试的时候报错unread block data 但是在集群上运行是正常的

Spark 本地测试的是时候setMaster 设置为spark主节点就会出现unread block data 求大神解决
1
回答数

对于hadoop和spark,你有什么感受和心得?

对大数据比较感兴趣,希望经历过的人给一些建议和学习心得。
1
回答数

30 关于spark streaming,如何输出程序产生的中间结果

刚刚学习spark streaming,程序每次都是以 --master local[2]的模式跑。发现这样一个问题:当使用命令 bin/spark-submit --class com.xxxxx.
3
回答数

50 大数据:如何模拟2000万辆车并发发送数据

应该如何实现2000万辆车并发发送数据,数据内容可以包括车辆的经纬度位置,目前的车况数据等等;数据发送频率设置为每辆车每十秒发送一条数据。请问应该如何实现? 考虑使用spark或者storm? 如何实
0
回答数

5 spark-submit 提交spark streaming 作业,提交作业后执行2s 后自动停止

问题是这样的我用spark-submit 提交作业,提交2s后自动停止 package com.itcchina.zs57s.pcap.receive.handle;import ItcWorkFlo
0
回答数

Couldn't find leaders for Set([ws2,0])

sparkStreaming运行了51分钟挂了,再启动报错继续报错。 起初以为zookeeper的leader节点有问题,查看以后正常,程序没改动,咋出现这错误
4
回答数

5 nancy用哪种试图引擎最好用?

发现nancy的试图引擎太多了,有人对比过这几种试图引擎的优劣吗?
0
回答数

50 spark1.6.0的源码怎么导入idea?

spark1.6.0的源码怎么导入idea?我说的源码不是预编译好的源码。求大神们的帮忙
2
回答数

50 跪求!利用c#想spark发送消息

内容详情请点击问题查看!