首页 新闻 搜索 专区 学院

hadoop mapreduce 数据倾斜怎么办

0
悬赏园豆:100 [已关闭问题] 关闭于 2015-11-27 16:18

一般看到的解决方案

1文件缓存

问题 数据过大有瓶颈 本来hadoop就是处理大数据的

2转换map输出的key值

问题 数据需要合并结果 key修改后 无法合并原始相同key对应的val 

3将倾斜的数据单独拿出来处理

问题 如果数据是动态的

 

请问你有什么简单有效的方法吗

守正不出奇的主页 守正不出奇 | 初学一级 | 园豆:82
提问于:2015-07-09 17:32
< >
分享
所有回答(1)
0

http://blog.csdn.net/core_cto/article/details/8644692

在大地画满窗子 | 园豆:102 (初学一级) | 2015-07-10 15:45
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册