Hadoop可以将串行任务来并行运行吗？

悬赏园豆：20 [待解决问题]

有一个任务是串行任务，包括三个阶段1->2->3，其中1的输出是2的输入，2的输出是3的输入，这样串行的任务在hadoop下能并行运行吗？例如1阶段和2阶段并行运行，这应该是可以实现的，只要2阶段的输入已经完成就可以，但具体方案怎么实施呢？求大神解答，谢谢！！！

Alexia(minmin) | 初学一级 | 园豆：4
提问于：2013-09-29 08:55

< >

所有回答(3)

如果1->2->3算一条任务，你有很多这样的任务？

angelshelter | 园豆：9914 (大侠五级) | 2013-09-29 09:09

可以通过addDependingJob()添加依赖关系，详见园子里的博文：ChainMapper ，ChainReducer，多个Job串行

dudu | 园豆：29568 (高人七级) | 2013-09-29 09:47

1、2、3是无法并行的，但是如果你有多组：

A：（1、2、3）；

B：（1、2、3）；

C：（1、2、3）；

那么 A、B、C是可以并行的。

Launcher | 园豆：45050 (高人七级) | 2013-09-29 11:09

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。