我的Hadoop集群配置如下:
master:机子性能非常好,内存8G,硬盘1T以上
4个slaves:全是差机子,内存只有2G,真正剩余的只有1G左右,硬盘500G
主要看内存,master和slaves差别有点大,不知道这样的配置是不是非常不好,因为我实际测试起来效果不太理想,经常还出现“out of memory”的错误,我想问的是slave机子的性能需要和master一样好吗?master负责调度、资源分配等任务,需要好性能,而slaves只是负责执行程序,只要内存够执行程序应该就没问题吧?另外,我想让master也作为一个slave执行程序好不好呢(充分利用master机子的性能)。Hadoop初学者,诸多疑问,还请谅解。
真正用的执行程序的机子非常差。。。 所以你懂的
哦哦,你的意思是master的机子性能需要好一点,slave机子的性能差一点没关系?
把master虚拟化成2-3台机器吧