首页 新闻 搜索 专区 学院
当前位置:博问标签/spark/未解决/ 已解决
1
回答数

已解决问题 Structured Streaming中window不存在问题。

今天运行Spark官网的Demo http://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#han
2
回答数

已解决问题 100 spark Dataset<Row>如何按行获取数据

需求:要把spark的数据转为json数据,collectAsLIst()返回LIst,但是如果数据量太大,内存肯定不够,所以有什么办法可以一行一行获取 看到limit(n)方法也只能获取前n的数据
1
回答数

已解决问题 40 GraphX构建图的时候,顶点数增多了是为什么,求教!

刚开始接触GraphX,拿到了一份类似用户关注的测试数据。 用户ID10000条,对应10000个节点。用户关系的数量不明。 数据格式如下: 建图代码如下: import org.apache.spa
1
回答数

已解决问题 80 实际问下各位公司中的spark集群有几台

问下各位所供职的公司中使用的spark集群有多少台?每天的日志量大约有多大,kafka布了有多少
1
回答数

已解决问题 20 spark submit 运行多个任务问题,求大神解答

我用的是独立模式,2个application 提交的参数是: --master spark://spark-1:7077 --executor-memory 4g --driver-memory 2g
1
回答数

已解决问题 对于hadoop和spark,你有什么感受和心得?

对大数据比较感兴趣,希望经历过的人给一些建议和学习心得。
1
回答数

已解决问题 30 关于spark streaming,如何输出程序产生的中间结果

刚刚学习spark streaming,程序每次都是以 --master local[2]的模式跑。发现这样一个问题:当使用命令 bin/spark-submit --class com.xxxxx.
3
回答数

已解决问题 50 大数据:如何模拟2000万辆车并发发送数据

应该如何实现2000万辆车并发发送数据,数据内容可以包括车辆的经纬度位置,目前的车况数据等等;数据发送频率设置为每辆车每十秒发送一条数据。请问应该如何实现? 考虑使用spark或者storm? 如何实
4
回答数

已解决问题 5 nancy用哪种试图引擎最好用?

发现nancy的试图引擎太多了,有人对比过这几种试图引擎的优劣吗?