基于云的LAMP集群

Question

我运行了一个非常定制的集群，用于处理基于LAMP基本设计的大量科学数据。一般来说，我运行一个单独的MySQL服务器，大约有128GB的RAM和大约1TB的存储空间。另外，我运行一个头节点作为我的进程的数据输入的nfs挂载点，以及一个显示结果的web服务器。最后，我尝试了几个计算节点，它们从mysql表中获取它们的作业，从NFS获取数据，做一些繁重的工作，然后将结果放到mysql中。

我遇到过一个数据集，我想处理的数据集非常大（1TB的输入数据），而且我没有真正的硬件来处理它。因此，我开始研究谷歌计算引擎等，以及扩展实例来快速处理这些数据的前景，结果存储在一个mysql实例中。完成后，mysql表可以从云中转储出来，然后在本地进行分析。我将没有问题部署一个MySQL服务器，以及其余的LAMP部分和计算节点，但我无法弄清楚我将如何在云中执行此操作。

一个主要的问题似乎是缺少读/写NFS，这会让我将数据转移到多个实例上，然后将结果推送到MySQL。这对我来说是一个必要的步骤，因为我可以从Web服务器中排列数百个作业，然后通过连接到集中的mysql实例来查找实例需要的作业，然后让实例（多达50-100个）选择作业做和数据在哪里。处理数据（发生文件转换，使写入部分变得必要），紧缩数据，然后将结果加载到mysql。我希望我能清楚地解释我的情况。这似乎是一个CPU密集型进程的好例子，它可以很好地在云中进行扩展，我似乎无法把所有的东西放在一起......任何输入都会被赞赏！