2011-03-16 72 views
3

有谁知道任何对公众开放并且使用Hadoop/MapReduce框架的可用集群吗?有很多关于如何使用MapReduce的教程,但是有没有一种方法来测试这些示例,而无需使用本地单台机器并安装所需的框架?可用于Hadoop/MapReduce框架的集群

谢谢!

回答

0

您也可以使用Apache Whirr在Amazon EC2上部署您自己的测试群集。这使您比弹性地图缩小更多的控制。如果您仅将它用于短时间测试地图缩减作业,它应该便宜。

1

我很快就会有一个解决方案 - 它不是免费的,但它非常便宜。

我已经为培训和教育(通过网络访问)构建了一个小型集群,并将于2013年5月开始运行。 我将以每天2美元或每周10美元的价格租用4节点集群。

由于集群不是很大,它将处理只有20-40GB的数据集,但将具有完全的Web访问权限来运行mapreduce,猪脚本。

虽然我要了一些钱,但这不是一个真正的生意 - 只是希望我能支付电费!

http://jyrocluster.com

问候, 塞尔

+0

看起来很有趣的哔叽。有一点可能是一个想法,也是提供数据存储,所以一旦您的机票到期,您可以选择通过预付款保留每天的费用数据(当然,我并不是说群集中的数据会被分流出去到便宜的存储)。我在想这里的开发人员使用较慢的连接,但需要测试gb的数据。请记住https://hadoopsdk.codeplex.com/以及.NET用户 – Dreamwalker 2013-04-19 07:22:35

+0

听起来像是个好主意。起初,我不想提供数据存储,因为我的空间有限,而且没有“五个九”的正常运行时间......我的计划是添加数据存储,更大的节点和HBase支持......手指交叉 – DataMania 2013-05-02 23:14:25

+0

顺便说一句,几乎准备好去住,所以测试完成和检查的东西... – DataMania 2013-05-02 23:15:32

0

你可以给一试。虽然它不是免费的,但它非常实惠。它为练习Hadoop,Spark,Kafka,Hive,Pig,HBase,Oozie,Zookeeper,Flume,Sqoop,Mahout,R,Linux,Python,Scala,NumPy,Scipy,scikit-learn等提供了一个完整的环境。在本地计算机上安装或配置任何软件以使用CloudxLab。许多受欢迎的培训师已经在使用CloudxLab。