hadoop mapreduce 数据倾斜怎么办

悬赏园豆：100 [已关闭问题] 浏览: 3203次关闭于 2015-11-27 16:18

一般看到的解决方案

1文件缓存

问题数据过大有瓶颈本来hadoop就是处理大数据的

2转换map输出的key值

问题数据需要合并结果 key修改后无法合并原始相同key对应的val

3将倾斜的数据单独拿出来处理

问题如果数据是动态的

请问你有什么简单有效的方法吗

hadoop

【戈多】 | 菜鸟二级 | 园豆：282
提问于：2015-07-09 17:32

< > 人人可用的开源BI工具

所有回答(1)

http://blog.csdn.net/core_cto/article/details/8644692

在大地画满窗子 | 园豆：102 (初学一级) | 2015-07-10 15:45

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。