首页 新闻 搜索 专区 学院

Hadoop不同salve节点可以处理不一样的数据吗?

0
悬赏园豆:80 [待解决问题]

我的需求是这样的:

比如有三个文件需要作为mapper输入处理:file01, file02和file03。

另外还有三个文件作为配置参数存放在本地:r1, r2和r3。

我的mapper程序需要对r1,r2和r3做处理并分别生成三个不同的处理实例,处理算法一样,只是参数不同,所以生成了不同的类实例如p1, p2和p3,然后我想让p1只处理file01,p2只处理file02,p3处理只file03,并分别放到三个slave节点上各自处理,互不影响,然后将计算结果通过reduce进行汇总,这样可以吗?

我这样的目的是为了性能开销,因为r1,r2和r3实例都非常大,如果合并成一个实例计算太慢。以我的知识,这样的需求在Hadoop上不能实现,因为Hadoop上map输入文件似乎是不可区分的。急,求Hadoop大神帮忙提个想法,非常感谢。

Alexia(minmin)的主页 Alexia(minmin) | 初学一级 | 园豆:4
提问于:2014-04-18 21:48
< >
分享
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册