1
我打算在EC2上使用Hadoop。由于我们必须按实例使用情况进行支付，因此具有固定数量的实例比实际需要的实例并不好。EC2上的Hadoop集群中按需生成奴隶
在我们的应用程序中，许多作业是同时执行的，我们并不总是知道从属要求。是否可以用最少的奴隶启动hadoop集群，然后根据需求管理可用性？
即创建/点播摧毁奴隶
子问题：能否Hadoop集群管理多个作业同时？
感谢
A
回答
0
1
是在Hadoop中使用的默认调度是一个简单的FIFO之一，你可以考虑使用FairScheduler该集群的份额分配给每个正在运行的作业并拥有丰富的配置，以控制这些股。
就EC2而言 - 您可以轻松地开始使用一定数量的节点，然后一旦您看到队列中的任务过多，并且群集中的所有插槽都被占用 - 请添加更多。您只需启动一个实例并启动一个任务跟踪器，该任务跟踪器将向jobtracker注册。
但是，您将不得不拥有自己的系统来管理这些节点的启动和关闭。
0
只想让你知道，我们正在做这方面的一些工作Apache Whirr。我们正在跟踪WHIRR-214的进度。投票或加入发展。 :)
相关问题
- 1. 如何配置的主人/奴隶机Hadoop的1.2.1集群
- 2. Hadoop集群以Linux主机和Windows 7作为奴隶
- 3. Hadoop集群配置与Ubuntu主和Windows奴隶
- 4. Jenkins EC2奴隶SSH失败
- 5. 詹金斯错误试图提高按需Linux的ec2奴隶
- 6. Hadoop集群设置：数据节点不能在奴隶机上工作
- 7. 奴隶datanode不工作在hadoop 0.20.2和奴隶无法与主@ 54310沟通
- 8. mesos奴隶没有连接mesos主人集群
- 9. vmware上的hadoop，namenode没有找到奴隶
- 10. 詹金斯奴隶上自动生成的生成文件夹太长
- 11. 使PC成为Arduino ADK的奴隶
- 12. RoR + Redis Master - 奴隶
- 13. phpmyadmin只读奴隶
- 14. 在hadoop集群上安装spark集群
- 15. 如何处理hadoop集群上的id生成？
- 16. NFS上的Hadoop集群
- 17. '奴隶'的单数错误
- 18. Hadoop Datanode奴隶没有连接到我的主人
- 19. 哈德森生成服务器 - 与关机奴隶机问题
- 20. java.lang.NoClassDefFoundError：上运行Hadoop集群
- 21. 在Amazon EC2上运行hadoop作业：多节点群集
- 22. 如何在ec2上重新启动单节点hadoop集群
- 23. 如何在EC2-S3或EBS实例上安装Cloudera Hadoop集群？
- 24. 在詹金斯奴隶上使用maven
- 25. 在詹金斯奴隶上安装git
- 26. Datastax群集存储的Amazon EC2 - 生产
- 27. 通过jenkins外壳在奴隶上清洁码头集装箱
- 28. Apache Spark EC2脚本启动奴隶，但没有主人
- 29. Jenkins亚马逊EC2代理云 - Windows奴隶
- 30. 为Hadoop集群
我投了赞成票 – Nayn 2011-06-20 13:42:51