首页 新闻 搜索 专区 学院
当前位置: 博问标签 /hadoop/未解决/ 已解决
0
回答数

50 启动yarn失败,明明端口没有被占用,但是仍然无法连接?

如题,用vm虚拟机创建了几个linux主机,hadoop102机器为master,slave机器hadoop103上指定ResourceManager。在hadoop102上启动yarn失败,log中
1
回答数

10 zookeeper在nn和dn上如何配置

有5台机器,两个namenode,三个datanode,为了高可用,nn上要实现zkfc机制,需要安装zookeeper吗,如果安装的话和dn上的zookeeper配置上有什么区别
1
回答数

5 Java写文件至HDFS失败

各位大牛: 本人在虚拟机上搭建了Hadoop环境,用的是伪cluster的模式搭建。通过Java调用Hadoop 的Api, 写文件至HDFS。 把写好的代码拿到部署Hadoop的虚拟机上能正常运行,
1
回答数

hadoop安装问题,初始化报错

hadoop namenode -format DEPRECATED: Use of this script to execute hdfs command is deprecated. Instea
1
回答数

5 Java操作Hadoop的官方资料在哪里?

各位大神: 本人学习Hadoop,Hadoop环境已搭建完成,能通过HDFS命令行进行文件的操作,但想通过写Java代码调用HDFS的API,无从下手,在官网一直找不到对应的例子,只找到Java的AP
0
回答数

咨询一个关于spark归一化,然后排序的问题

请以上述 3、&4、(题目数字编号)任务的输出结果作为输入数据源,编 写 Spark 程序从城市的酒店总订单、用户评分及评论数角度综合分析并 获得城市的受欢迎程度排名,取最受游客欢迎的 5 个城市形成
0
回答数

spark中使用spark://协议计数器空指针异常

将master设置为local[3]的时候,上传到服务器正常运行。但是将master设置为spark://协议的时候就会在调用计数器方法的时候报空指针异常。这是为什么呢? 其次,当我在本地运行时,计数
0
回答数

Hadoop Error: org.apache.hadoop.hdfs.BlockMissingException

20/02/12 01:06:42 INFO mapreduce.Job: Task Id : attempt_1581440082012_0003_m_000002_1, Status : FAIL
1
回答数

Hadoop一定要配置/etc/host文件吗?

我在搭建的过程中,发现如果不配置/etc/host文件 就会报错 Caused by: java.net.UnknownHostException: master 这个东西一定要配置? 最纠结的是,服
0
回答数

关于 Hadoop 方面的目前刷遇到的两个疑惑

第一个疑惑: 在配置一些东西 例如 jdk 经常会见到 JAVA_HOME 或者JAVA_opt HADOOP_JAVA HADOOP_opt 等等二者有什么区别,很多教程在这块都是一笔带过 有的使用
3
回答数

大数据平台的搭建都还很模糊想找人讲讲

大数据平台的搭建都还很模糊想找人讲讲,很多细节自己好像注意不到
2
回答数

10 map 100% reduce 100%后卡很长时间才job completed successfully

最近碰到个棘手的问题,hive to hbase时,mr 100%后要卡2个小时才往下运行。请教各位大佬怎么解决,日志如下: 19/12/07 09:26:00 INFO mapreduce.Job:
0
回答数

20 Hive上删除Hdfs表的分区文件,查看表分区时,分区依旧存在问题

下面是我的操作步骤: [root@bigdata-poc-shtz-3 test]# hadoop fs -ls -R hdfs://bigdata:8020/user/hive/warehouse/
0
回答数

20 CDH集权启动报错 Failed to send metrics.

各位道友: 遇到一个问题: 这个是什么鬼?
0
回答数

20 DataNode被自动关闭没有任何异常

DataNode启动后运行一段时间就掉了,反正我去睡一觉起来jps就没有这个进程了。NameNode没掉。后来发现还能继续上传文件,namenode上还有DataNode的信息,端口也还占用着,就是j
2
回答数

为什么idea导出的mapreduce jar包运行会出现各种问题呢

为什么idea导出的mapreduce jar包运行会出现各种问题呢
0
回答数

hdfs的回收站的位置只能是/user/用户名吗?

hdfs的回收站的位置只能是/user/用户名吗?
0
回答数

将jar包放在什么位置可以让hadoop启动时自动加载类

将jar包放在什么位置可以让hadoop启动时自动加载类
0
回答数

hadoop机架感知不能加载类

我已经在core-site.xml配置文件中配置了net.topology.node.switch.mapping.impl。并把jar包放在了/opt/modules/hadoop-2.7.2/sh
0
回答数

hdfs namenode -importCheckpoint 是不是只有当secondarynamenode和namenode在同一主机上才行

hdfs namenode -importCheckpoint 是不是只有当secondarynamenode和namenode在同一主机上才行
0
回答数

20 小白请教centerOS下 sqoop import

在命令行执行sqoop import命令如下: sqoop import --connect jdbc:mysql://localhost:3306/source_data?charset-utf8
5
回答数

升学了我选大数据还是软件开发好

因为职高的时候自学过JavaEE相关的开发,做过分布式相关应用。对于Web网页方面也比较了解。能用原生的js/css/html和Bootstrap、jquery之类的框架编写网页。现在因为升学了,考了
0
回答数

10 hadoop配置ha的时候,新加的名称节点中的看不到datanode数据节点有哪些

第一台主机是好的,但是第二台启用高可用时,主机上的数据节点不显示
2
回答数

启动hadoop后,hadoop命令无效,fs.defaultFS中配置的9000端口没有

core-site.xml文件配置了9000 <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </prop
0
回答数

5 关于ranger界面配置hdfs服务

ranger界面,准确来讲,开启ranger Plugin,会自动生成一个hdfs服务,但是配置第二个hdfs服务时测试显示成功,可是创建的服务不生效。Plugin不显示服务名 !