首页新闻招聘找找看知识库
当前位置: 博问标签 /hadoop/未解决/ 已解决
1
回答数

50 spark 运行在yarn上

进程: [itsels@hadoop spark--bin-2.5.0-cdh5.3.6]$ jps 2390 HistoryServer 2521 ResourceManager 2578 Node
0
回答数

hadoop中map节点和reduce节点数问题

我现在集群中有9个slave,我需要配置成map节点5个,reduce节点3个,那么我在master节点的mapred-site.xml中设置之后,是否需要将这个配置文件拷贝到slave节点上去覆盖原
1
回答数

hadoop集群管理

更新了hadoop的配置文件,在整个集群其他节点都需要更改的情况下,如何能够快速复制到其他节点上?
0
回答数

50 如何让NameNode忽略已经丢失的数据

当HDFS有数据丢失, NameNode重启后会自动进入安全模式, 使用命令可以强制退出安全模式, NameNode会报有数据丢失, 一直告警。 如何让NameNode忽略已经丢失的数据?
0
回答数

50 在实际的生产环境, Hadoop客户端是否需要从集群里面单独分出来?程序运行是在集群里面运行还是通过集群的客户端运行?

在实际的生产环境, Hadoop客户端是否需要从集群里面单独分出来?程序运行是在集群里面运行还是通过集群的客户端运行?
1
回答数

hadoop 不知道这几个版本有什么区别

hadoop 不知道这几个版本有什么区别?求大神
1
回答数

目前利用32位centos安装hadoop客户端

谁能够给我一个合适的hadoop链接,在官网上找了好几个都不能用。求个引路人
0
回答数

在Ubuntu中,用mvn打包hadoop源代码是报错,咋回事?紧急!!!

报错信息如下: (各种配置在最后面) hadoop@administrator-virtual-machine:~/Downloads/tar/hadoop-3.0.0-alpha1-src$ mvn
1
回答数

对于hadoop和spark,你有什么感受和心得?

对大数据比较感兴趣,希望经历过的人给一些建议和学习心得。
0
回答数

10 Hive 中如何实现日期格式判断

比如 判断一个字段的格式 如果是'YYYY-MM'格式,则返回1,否则返回0。试了下用正则,但是不是想要的,麻烦各位有经验的大神帮忙解决,感谢!!!
0
回答数

5 kafka BufferUnderFlowExcception

在使用spark streaming+kafka的过程中,通过spark streaming 计算完成后,在使用kafka 将计算结果发送到其他地方进行处理,出现错误。 parseResultJava
0
回答数

5 oozie工作流方式运行失败,命令行方式运行成功

求大神帮忙指点一下,困扰几天了。 workflow.xml内容如下: <workflow-app name="TestSqoop" xmlns="uri:oozie:workflow:0.5"> <s
1
回答数

5 java hadoop spark 报错

在做项目的时候,设置了Thread.currentThread.setClassLoaderContext(classLoaderContext);在执行项目的时候在hadoop的位置报错 publi
0
回答数

100 hadoop eclipse插件连接HDFS报如下错误

配置已经都搞定,然后eclipse刷不出HDFS内容,报这个错,有知道的大神吗?
1
回答数

10 hadoop 2.6.0中配置sqoop 1.99.6-hadoop200时使用show version --all报错

平台配置: 系统:Ubuntu 12.04 LTS hadoop 2.6.0, sqoop1.99.6-hadoop200, hive-1.1.1, mysql 5.5.48, mysql-conne
0
回答数

20 有关hadoop中Job的运行状态转换的问题

各位博主:你们好!我是南京理工大学一名大四的学生:陈晓涛;要做一个基于hadoop的静态调度器。在看源码,有一些疑问,望大家能给我解答一下。hadoop作 业初始化的过程中当一个Job的所有的task
0
回答数

50 Hadoop集群搭建测试wordcount

搭建好hadoop集群后测试wordcount这个例子,执行到最后一步老是出现这样的错误,执行了hadoop namenode -format并没用,能ping通,貌似不是防火墙问题,请问是什么问题啊
1
回答数

30 在eclipse里面尝试着用nutch2.2.1版本抓取网页存储在MySQL数据库中出错

我在Cygwin下面执行bin/nutch crawl urls -depth 3 -topN 5也是出现这样的错去,请问是怎么回事呢?是不是那个hadoop-core-1.2.0.jar包要修改一下
0
回答数

40 hadoop2.6.0集群start-all.sh启动是没有看到secondary相关信息,其他进程和日志都正常

环境: 1 master,3 slaves;centos6.7 、hadoop2.6.0、jdk1.8.0_60; start-dfs.sh或start-all.sh脚本启动时都是正常,startin
1
回答数

solaris部署hadoop集群跑wordcount报错

内容详情请点击问题查看!
1
回答数

10 运行hadoop中的计算圆周率的demo出现报错

内容详情请点击问题查看!
1
回答数

100 hadoop mapreduce 数据倾斜怎么办

一般看到的解决方案 1文件缓存 问题 数据过大有瓶颈 本来hadoop就是处理大数据的 2转换map输出的key值 问题 数据需要合并结果 key修改后 无法合并原始相同key对应的val 3将倾斜的
0
回答数

30 HIVE: Map Join Vs Common Join

话说,join 大表与一小表,使用Map Join将会有显著的性能提升。 今天测试,果真如此: 大表约400万记录,大小约400M; 小表200条记录,大小1K. 启用 set hive.auto.c
3
回答数

50 【求助】Hive向分区表导入数据File not found: File does not exist:reduce.xml

启动hdfs正常,NN、DN、SN都正常。启动hive只有一个runjar进程,但查询、建本地表、查表都正常。 在从本地表tb3导入分区表tb4_p时出错: insert overwrite tabl
2
回答数

100 hadoop面试问题

1.你们公司的集群规模? 2.你们这个日志系统的业务数据有多大,有多少行? 3.你们提交的job任务大概有多少个?这些job执行完大概用多少时间? 4.你的项目提交到job的时候数据量有多大? 不知道