首页 新闻 搜索 专区 学院

Hadoop可以将串行任务来并行运行吗?

0
悬赏园豆:20 [待解决问题]

有一个任务是串行任务,包括三个阶段1->2->3,其中1的输出是2的输入,2的输出是3的输入,这样串行的任务在hadoop下能并行运行吗?例如1阶段和2阶段并行运行,这应该是可以实现的,只要2阶段的输入已经完成就可以,但具体方案怎么实施呢?求大神解答,谢谢!!!

Alexia(minmin)的主页 Alexia(minmin) | 初学一级 | 园豆:4
提问于:2013-09-29 08:55
< >
分享
所有回答(3)
0

如果1->2->3算一条任务,你有很多这样的任务?

angelshelter | 园豆:9687 (大侠五级) | 2013-09-29 09:09
0

可以通过addDependingJob()添加依赖关系,详见园子里的博文:ChainMapper ,ChainReducer,多个Job串行

dudu | 园豆:36108 (高人七级) | 2013-09-29 09:47
0

1、2、3是无法并行的,但是如果你有多组:

A:(1、2、3);

B:(1、2、3);

C:(1、2、3);

那么 A、B、C是可以并行的。

Launcher | 园豆:45045 (高人七级) | 2013-09-29 11:09
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册