首页 新闻 搜索 专区 学院
当前位置: 博问标签 /大数据/未解决/ 已解决
0
回答数

2020-09-11:Hive的优化策略有哪些? #福大大架构师每日一题#

2020-09-11:Hive的优化策略有哪些? #福大大架构师每日一题#
0
回答数

50 启动yarn失败,明明端口没有被占用,但是仍然无法连接?

如题,用vm虚拟机创建了几个linux主机,hadoop102机器为master,slave机器hadoop103上指定ResourceManager。在hadoop102上启动yarn失败,log中
0
回答数

2020-09-02:Sqoop的工作原理?

2020-09-02:Sqoop的工作原理?
0
回答数

10 2020-08-24:什么是小文件?很多小文件会有什么问题?很多小文件怎么解决?(大数据)

2020-08-24:什么是小文件?很多小文件会有什么问题?很多小文件怎么解决?(大数据)
0
回答数

10 2020-08-18:介绍下MR过程?介绍下MR过程?

2020-08-18:介绍下MR过程??介绍下MR过程?
0
回答数

10 2020-08-17:详细说下数据倾斜怎么解决?

2020-08-17:详细说下数据倾斜怎么解决?
0
回答数

10 2020-08-16:数据任务是怎么优化的?(数据倾斜,参数相关调节)

2020-08-16:数据任务是怎么优化的?(数据倾斜,参数相关调节)
0
回答数

10 2020-08-15:什么情况下数据任务需要优化?

2020-08-15:什么情况下数据任务需要优化?
0
回答数

2020-08-08:有一批气象观测站,现需要获取这些站点的观测数据,并存储到 Hive 中。

2020-08-08:有一批气象观测站,现需要获取这些站点的观测数据,并存储到 Hive 中。但是气象局只提供了 api 查询,每次只能查询单个观测点。那么如果能够方便快速地获取到所有的观测点的数据?
0
回答数

CDH agent无法安装

截图如下: 目前查看了日志,端口之类的都没发现问题,整个页面日志只有在安装java的时候出现了2个找不到镜像,但是最终结果还是already install了,请大牛帮忙看看什么原因,多谢了 /tmp
0
回答数

Python连接HBase 如何连接高可用的集群呢

Python连接HBase 如何连接高可用的集群呢?就是不止一个地址,如果有一台hbase宕机了,自动切换到高可用的另外一台hbase。
0
回答数

咨询一个关于spark归一化,然后排序的问题

请以上述 3、&4、(题目数字编号)任务的输出结果作为输入数据源,编 写 Spark 程序从城市的酒店总订单、用户评分及评论数角度综合分析并 获得城市的受欢迎程度排名,取最受游客欢迎的 5 个城市形成
0
回答数

spark中使用spark://协议计数器空指针异常

将master设置为local[3]的时候,上传到服务器正常运行。但是将master设置为spark://协议的时候就会在调用计数器方法的时候报空指针异常。这是为什么呢? 其次,当我在本地运行时,计数
0
回答数

Hadoop Error: org.apache.hadoop.hdfs.BlockMissingException

20/02/12 01:06:42 INFO mapreduce.Job: Task Id : attempt_1581440082012_0003_m_000002_1, Status : FAIL
1
回答数

Hadoop一定要配置/etc/host文件吗?

我在搭建的过程中,发现如果不配置/etc/host文件 就会报错 Caused by: java.net.UnknownHostException: master 这个东西一定要配置? 最纠结的是,服
0
回答数

数字化转型,建个中台就够了吗?

如果说中台并不能代表企业数字化转型的需求本身,那么不妨思考这样一个问题,在数字化转型的大背景下,企业的需求的本质究竟是什么? More than 中台,数字化转型应该怎么做?详细介绍:https://
3
回答数

大数据平台的搭建都还很模糊想找人讲讲

大数据平台的搭建都还很模糊想找人讲讲,很多细节自己好像注意不到
0
回答数

20 Hive上删除Hdfs表的分区文件,查看表分区时,分区依旧存在问题

下面是我的操作步骤: [root@bigdata-poc-shtz-3 test]# hadoop fs -ls -R hdfs://bigdata:8020/user/hive/warehouse/
0
回答数

MapReduce找不到类

我将主类和mapper、reducer类都放在了一个包中,但是无论我用idea还是myeclipse导出jar包都会找不到类。这是为什么呢? Error: java.lang.RuntimeExcep
2
回答数

2b的系统需要大数据么?

2b的系统需要大数据么?是不是一般都是2c的大用户才需要大数据?
5
回答数

升学了我选大数据还是软件开发好

因为职高的时候自学过JavaEE相关的开发,做过分布式相关应用。对于Web网页方面也比较了解。能用原生的js/css/html和Bootstrap、jquery之类的框架编写网页。现在因为升学了,考了
2
回答数

rocketmq启动mqnamesrv的时候总报忽略输入并把输出追加到"nohup.out"异常

请教大佬们,以上是报错信息,帮忙看看哪里的问题呢? runserver.sh的内存设置参数是:Xms128m Xmx128m -Xmn128m runbroker.sh的内存设置参数是:Xms128m
1
回答数

20 大数据和机器学习算法

请问如何机器学习算法比如说SVM等如何运用到大数据中,是用在计算框架Spark,Mapreduce等中吗?还是运用在什么其他组件里?并且这些算法不是起预测作用吗?即使在大数据的计算框架中能发挥什么样的
0
回答数

30 park 分组后取id最大的记录的字段

dataframe 结构: | Id | UserID | GameLevel | RegisterTime | GameAge | VipLevel| 如题:, 按userid 分组, 取id 最大