首页新闻找找看学习计划
当前位置: 博问标签 /大数据/未解决/ 已解决
0
回答数

咨询一个关于spark归一化,然后排序的问题

请以上述 3、&4、(题目数字编号)任务的输出结果作为输入数据源,编 写 Spark 程序从城市的酒店总订单、用户评分及评论数角度综合分析并 获得城市的受欢迎程度排名,取最受游客欢迎的 5 个城市形成
0
回答数

spark中使用spark://协议计数器空指针异常

将master设置为local[3]的时候,上传到服务器正常运行。但是将master设置为spark://协议的时候就会在调用计数器方法的时候报空指针异常。这是为什么呢? 其次,当我在本地运行时,计数
0
回答数

Hadoop Error: org.apache.hadoop.hdfs.BlockMissingException

20/02/12 01:06:42 INFO mapreduce.Job: Task Id : attempt_1581440082012_0003_m_000002_1, Status : FAIL
1
回答数

Hadoop一定要配置/etc/host文件吗?

我在搭建的过程中,发现如果不配置/etc/host文件 就会报错 Caused by: java.net.UnknownHostException: master 这个东西一定要配置? 最纠结的是,服
0
回答数

数字化转型,建个中台就够了吗?

如果说中台并不能代表企业数字化转型的需求本身,那么不妨思考这样一个问题,在数字化转型的大背景下,企业的需求的本质究竟是什么? More than 中台,数字化转型应该怎么做?详细介绍:https://
3
回答数

大数据平台的搭建都还很模糊想找人讲讲

大数据平台的搭建都还很模糊想找人讲讲,很多细节自己好像注意不到
0
回答数

20 Hive上删除Hdfs表的分区文件,查看表分区时,分区依旧存在问题

下面是我的操作步骤: [root@bigdata-poc-shtz-3 test]# hadoop fs -ls -R hdfs://bigdata:8020/user/hive/warehouse/
0
回答数

MapReduce找不到类

我将主类和mapper、reducer类都放在了一个包中,但是无论我用idea还是myeclipse导出jar包都会找不到类。这是为什么呢? Error: java.lang.RuntimeExcep
2
回答数

2b的系统需要大数据么?

2b的系统需要大数据么?是不是一般都是2c的大用户才需要大数据?
5
回答数

升学了我选大数据还是软件开发好

因为职高的时候自学过JavaEE相关的开发,做过分布式相关应用。对于Web网页方面也比较了解。能用原生的js/css/html和Bootstrap、jquery之类的框架编写网页。现在因为升学了,考了
2
回答数

rocketmq启动mqnamesrv的时候总报忽略输入并把输出追加到"nohup.out"异常

请教大佬们,以上是报错信息,帮忙看看哪里的问题呢? runserver.sh的内存设置参数是:Xms128m Xmx128m -Xmn128m runbroker.sh的内存设置参数是:Xms128m
1
回答数

20 大数据和机器学习算法

请问如何机器学习算法比如说SVM等如何运用到大数据中,是用在计算框架Spark,Mapreduce等中吗?还是运用在什么其他组件里?并且这些算法不是起预测作用吗?即使在大数据的计算框架中能发挥什么样的
0
回答数

30 park 分组后取id最大的记录的字段

dataframe 结构: | Id | UserID | GameLevel | RegisterTime | GameAge | VipLevel| 如题:, 按userid 分组, 取id 最大
1
回答数

80 实际问下各位公司中的spark集群有几台

问下各位所供职的公司中使用的spark集群有多少台?每天的日志量大约有多大,kafka布了有多少
0
回答数

ServiceStage中如何查看应用创建失败的原因?

在ServiceStage中应用创建完成后,状态显示为“未就绪”,表示应用创建失败,怎么回事?如何查找原因呢?
0
回答数

有人使用过华为云CSE的体验馆么?体验怎么样?

最近体验了一下华为云的CSE体验馆,还是基本满意的。有几点小建议: 体验馆这个形式的推出还是比较新颖的,用户体验直观,是不是考虑下普通用户也可以直接体验,不需要认证啥的。 体验馆的初级体验内容还是比较
3
回答数

关于大数据的数据去重问题

我需要对200多万条数据进行一个去重的操作,数据存放在mongodb中,之前存放的时候是通过url地址来判断采集的信息是否存在,但是现在发现有些信息它们内容一样,但是url相同。所以想请问一下,有没有
0
回答数

请问:grok自定义匹配规则,有先后顺序吗?

比如现在有一条apache日志 180.173.65.112 - - [22/Dec/2017:17:28:40 +0800] "GET /index.php/.../search?_dc=1...1
0
回答数

20 搭建的ambari集成开源的hadoop集群,现在连接不上oss

有人连接成功了吗,因为不是ali下的emapreduce连接oss,我在执行hive新建表想建在oss上面的时候,报错:(message:java.io.IOException: No FileSys
1
回答数

20 搭建hadoop正式环境,集群之间用内网ip还是用外网ip?

公司用的是阿里云服务器,用了内网ip互通的话,那公司本地这边好像就访问不了,有搭建经验的大牛吗,求解答,是怎么处理这个问题的?
4
回答数

30 关于项目中资源文件配置项过多的问题,有没有更好的办法,不失灵活性,资源文件又不显得很笨重?

如题,想咨询一下,有没有好的方法,避免配置项过多的问题 项目中主要的一个资源配置文件,配置项多达100+,有mysql配置(包括连接池的配置参数信息),大数据仓库配置,kafka配置(bootstra
2
回答数

5 .net技术如何玩AI和大数据?

如题,请教各位大佬。 一般AI和大数据貌似都和java有关,和.net无关。 求指点。谢谢