我是Cloudera Hadoop的新手,我想自己学习cloudera hadoop管理,我在Windows笔记本电脑上安装了12 GB ram,可用于9 GB左右的虚拟机,有谁知道如何安装和使用Cloudera经理在虚拟环境中练习cloudera administration.is有没有办法使用只有8 gb ram的cloudera manager?Cloudera Manager Administration
回答
您可以下载cloudera quickstart。它是一个有许多cloudera组件的vm,并且需求是4gb的ram。
链接:
http://www.cloudera.com/documentation/enterprise/5-3-x/topics/cloudera_quickstart_vm.html
所以基本上第一个u需要安装一个虚拟机OS我一般喜欢CentOS的,但在安装之前和创建虚拟机,你可以按照链接Cloudera的检查支持的操作系统从互联网上这里是一个
http://teaching.idallen.com/cst8207/14f/notes/000_centos_virtualbox_install.html
然后,一旦VM是了,你有它的互联网连接配置了Cloudera menti的preriqusites就在这里
http://www.cloudera.com/documentation/enterprise/5-4-x/topics/cm_ig_cm_requirements.html
您将有两个选择手动或Cloudera的经理自动继续进行您的首选。
http://www.cloudera.com/documentation/enterprise/5-4-x/topics/installation_installation.html
我希望这将帮助您和他人。
您可以使用Vagrant这是命令行实用程序来管理虚拟机的生命周期。
既然你没有很多可用的,如果你选择这样做的RAM,你不得不修改项目Vagrantfile以满足您的RAM需求和你可能无法在您的节点上安装所有cloudera服务。
默认项目将旋转4个虚拟机的集群;一个具有4GB RAM的主节点和3个每个具有2GB RAM的从属节点。
您可以从Vagrantfile中删除一个从站,例如,通过删除以下行删除slave3:
config.vm.define :slave3 do |slave3|
slave3.vm.box = "precise64"
slave3.vm.provider :virtualbox do |v|
v.name = "vm-cluster-node4"
v.customize ["modifyvm", :id, "--memory", "2048"]
end
slave3.vm.network :private_network, ip: "10.211.55.103"
slave3.vm.hostname = "vm-cluster-node4"
slave3.vm.provision :shell, :inline => $hosts_script
slave3.vm.provision :hostmanager
end
因此,你将有一个3节点的集群;一个主内存为4GB,另外两个内存为2GB。
您可以安装
- 从CentOS的DVD安装CentOS 6.x或7.2,然后选择“最小 服务器”或“最小工作站”如果你想要一个图形界面取决于
- 安装了Cloudera管理器从使用Cloudera文档从头开始,使用外部PostgreSQL选择路径B.它比路径A更具代表性的管理任务。路径C仅仅是以CM开始的一场噩梦。
对于9GB RAM,如果您有一个eclipse实例来开发一些概念验证,那么您的集群可以运行得有点慢,但这是可以接受的。当集群启动时,您可以停止Cloudera Manager并使用Hadoop服务。
- 1. cloudera manager vs Apache
- 2. FQDN Cloudera manager问题hadoop admin
- 3. Cloudera Manager 4.0 Wordcount示例
- 4. Cloudera Manager - HDFS未复制块
- 5. Cloudera经理。未能检测到的Cloudera Manager服务器
- 6. 的Cloudera Manager代理安装失败
- 7. Cloudera Manager纱线和Spark UI不工作
- 8. 无法启动Cloudera Manager中的HBase
- 9. 如何通过Cloudera Manager启用webhdfs?
- 10. 如何自动配置Cloudera Manager?
- 11. Cloudera Manager中的mapreduce.map.java.opts.max.heap和mapreduce.reduce.java.opts.max.heap属性
- 12. 修改cloudera manager端口7180到80
- 13. 来自cloudera manager api的python错误403
- 14. Cloudera Manager CDH群集安装失败
- 15. 从服务器中删除Cloudera Manager
- 16. 外部验证 - Cloudera Manager 5和OpenLDAP
- 17. ADAM Administration from SharePoint
- 18. Cloudera Manager安装程序3.7尝试安装Cloudera管理器服务器4.5
- 19. Cognos Administration with Oracle RAC
- 20. 无法通过Cloudera Manager添加新主机
- 21. 哪个节点在N个hadoop节点中运行Cloudera Manager?
- 22. 如何在Ubuntu上安装cloudera manager(12.0.4)-32位
- 23. EC2 Redhat Cloudera Manager CDH群集安装|主机名无法解决
- 24. 通过cloudera manager为多个集群配置交叉服务
- 25. Cloudera Manager无法验证:与ssh密钥相关的问题
- 26. 无法选择使用Cloudera Manager进行安装的节点
- 27. 无法启动Cloudera Manager,无法访问站点
- 28. 使用CDH4 + Cloudera Manager时将JDBC驱动程序放在哪里?
- 29. 尝试在Cloudera Manager中添加新节点
- 30. Cloudera Manager API - 如何部署默认配置?
一个好的选择是使用一些亚马逊RHEL/Centos机器而不是本地虚拟机。快速启动虚拟机有点沉重,但你会得到你的规格。 – Havnar
如果你想支付亚马逊..它是一个很好的选择.. AWS免费层只包含1GB的RAM。对于大数据技术来说不足.. https://aws.amazon.com/free/?nc1=h_ls – DanielVL
确实这不是免费的。然而,如果你想学习如何安装,优化一个真正的集群,这比学习虚拟机要好。 (从unix工程师/ cloudera管理角度看)对于开发人员来说,虚拟机是快速适应环境的一种方式。但它仍然只是虚拟的,添加和删除节点,退役,kerberos,AD集成等等......在实际集群上这样做是最好的。或者,您可以找到一些废料计算机并尝试在它们上安装cloudera集群。 – Havnar