首页 新闻 会员 周边 捐助

hadoop mapreduce 数据倾斜怎么办

0
悬赏园豆:100 [已关闭问题] 关闭于 2015-11-27 16:18

一般看到的解决方案

1文件缓存

问题 数据过大有瓶颈 本来hadoop就是处理大数据的

2转换map输出的key值

问题 数据需要合并结果 key修改后 无法合并原始相同key对应的val 

3将倾斜的数据单独拿出来处理

问题 如果数据是动态的

 

请问你有什么简单有效的方法吗

【戈多】的主页 【戈多】 | 菜鸟二级 | 园豆:282
提问于:2015-07-09 17:32
< >
分享
所有回答(1)
0

http://blog.csdn.net/core_cto/article/details/8644692

在大地画满窗子 | 园豆:102 (初学一级) | 2015-07-10 15:45
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册