我可以使用单个虚拟机创建Hadoop群集吗？

我是一名经验丰富的Java人员，希望通过Hadoop让我的手变得肮脏。我已经经历了基础知识，现在正在准备实际的事情。我可以使用单个虚拟机创建Hadoop群集吗？

我已经开始使用https://developer.yahoo.com/hadoop/tutorial/提供的教程来设置和运行虚拟机上的hadoop。

因此，要创建一个集群，我需要并行运行多个虚拟机。对？并且需要在hadoop-site.xml中添加所有的ip地址。或者我可以使用单个虚拟机来完成吗？

2016-04-26 Jimit Joshi

理想情况是，但是为了在本地机器上学习和开发，您可以使用[Hortonworks沙箱]（http://hortonworks.com/products/sandbox/），这是一个单一的群集实例，让您可以使用hadoop。 – SadiRubaiyet

谢谢萨迪，我会试试看。通过说“单一群集实例”，你的意思是在群集中运行单个hadoop实例，是吗？ –

实际上这是一个小型hadoop生态系统，因为HDFS是一个或两个名称节点和一个datanodes集合，所以实际上至少会有一个名称节点和一个数据节点。尝试一下，一旦你感觉舒适并且想要运行一些课税，您可以尝试AWS或Azure云以体验真正的分布式计算。玩的开心！ – SadiRubaiyet

不，您不能使用单个VM创建群集。群集含义是机器组。

如果你有一个好主机配置，最重要的是你可以运行'n'个客户操作系统。通过这样做，只有您可以创建Hadoop集群（1 NN，1 SNN，1 DN）

如果需要，可以安装Pseudo模式（所有服务在一台机器上运行）Hadoop，它像测试机一样运行

来源

2016-04-26 05:15:04 BruceWayne

我明白集群是一组机器。我的问题是，是否可以在没有一组机器的情况下设置群集（即使用VM）。 –

您可以使用任何虚拟机箱（如Oracle VM）设置多节点群集。创建5个节点（1-NN，1-SNN，3-DN）。为每个节点分配IP地址并设置所有节点上的所有配置文件。有2个文件 - （主人和奴隶）。在NN节点中给出主文件中SNN的IP地址以及从文件中的所有3 DN的IP地址。还使用公钥设置所有节点之间的ssh连接。

来源

2016-04-26 06:02:35

你能告诉我如何将IP分配给每个节点吗？还是由hadoop自动分配的东西？ –

我可以使用单个虚拟机创建Hadoop群集吗？

回答

相关问题