2016-02-16 66 views
0

我是Cloudera Hadoop的新手,我想自己学习cloudera hadoop管理,我在Windows笔记本电脑上安装了12 GB ram,可用于9 GB左右的虚拟机,有谁知道如何安装和使用Cloudera经理在虚拟环境中练习cloudera administration.is有没有办法使用只有8 gb ram的cloudera manager?Cloudera Manager Administration

回答

0

您可以下载cloudera quickstart。它是一个有许多cloudera组件的vm,并且需求是4gb的ram。

链接:

http://www.cloudera.com/documentation/enterprise/5-3-x/topics/cloudera_quickstart_vm.html

+1

一个好的选择是使用一些亚马逊RHEL/Centos机器而不是本地虚拟机。快速启动虚拟机有点沉重,但你会得到你的规格。 – Havnar

+0

如果你想支付亚马逊..它是一个很好的选择.. AWS免费层只包含1GB的RAM。对于大数据技术来说不足.. https://aws.amazon.com/free/?nc1=h_ls – DanielVL

+0

确实这不是免费的。然而,如果你想学习如何安装,优化一个真正的集群,这比学习虚拟机要好。 (从unix工程师/ cloudera管理角度看)对于开发人员来说,虚拟机是快速适应环境的一种方式。但它仍然只是虚拟的,添加和删除节点,退役,kerberos,AD集成等等......在实际集群上这样做是最好的。或者,您可以找到一些废料计算机并尝试在它们上安装cloudera集群。 – Havnar

1

所以基本上第一个u需要安装一个虚拟机OS我一般喜欢CentOS的,但在安装之前和创建虚拟机,你可以按照链接Cloudera的检查支持的操作系统从互联网上这里是一个

http://teaching.idallen.com/cst8207/14f/notes/000_centos_virtualbox_install.html

然后,一旦VM是了,你有它的互联网连接配置了Cloudera menti的preriqusites就在这里

http://www.cloudera.com/documentation/enterprise/5-4-x/topics/cm_ig_cm_requirements.html

您将有两个选择手动或Cloudera的经理自动继续进行您的首选。

http://www.cloudera.com/documentation/enterprise/5-4-x/topics/installation_installation.html

我希望这将帮助您和他人。

0

您可以使用Vagrant这是命令行实用程序来管理虚拟机的生命周期。

特别是可以按照下列指示: http://blog.cloudera.com/blog/2014/06/how-to-install-a-virtual-apache-hadoop-cluster-with-vagrant-and-cloudera-manager/

既然你没有很多可用的,如果你选择这样做的RAM,你不得不修改项目Vagrantfile以满足您的RAM需求和你可能无法在您的节点上安装所有cloudera服务。

默认项目将旋转4个虚拟机的集群;一个具有4GB RAM的主节点和3个每个具有2GB RAM的从属节点。

您可以从Vagrantfile中删除一个从站,例如,通过删除以下行删除slave3:

config.vm.define :slave3 do |slave3| 

    slave3.vm.box = "precise64" 

    slave3.vm.provider :virtualbox do |v| 
     v.name = "vm-cluster-node4" 
     v.customize ["modifyvm", :id, "--memory", "2048"] 
    end 

    slave3.vm.network :private_network, ip: "10.211.55.103" 
    slave3.vm.hostname = "vm-cluster-node4" 
    slave3.vm.provision :shell, :inline => $hosts_script 
    slave3.vm.provision :hostmanager 

end 

因此,你将有一个3节点的集群;一个主内存为4GB,另外两个内存为2GB。

0

您可以安装

  • 从CentOS的DVD安装CentOS 6.x或7.2,然后选择“最小 服务器”或“最小工作站”如果你想要一个图形界面取决于
  • 安装了Cloudera管理器从使用Cloudera文档从头开始,使用外部PostgreSQL选择路径B.它比路径A更具代表性的管理任务。路径C仅仅是以CM开始的一场噩梦。

对于9GB RAM,如果您有一个eclipse实例来开发一些概念验证,那么您的集群可以运行得有点慢,但这是可以接受的。当集群启动时,您可以停止Cloudera Manager并使用Hadoop服务。

相关问题