AWS EMR集群中的磁盘空间问题

我们在AWS中配置了11个节点（1个主节点+ 10个核心）EMR集群。我们为每个节点选择了100 GB的磁盘空间。AWS EMR集群中的磁盘空间问题

当调配集群时，EMR自动为根分区（/ dev/xvda1）分配10GB。一段时间后，根分区磁盘空间变满，由于这个原因，我们无法运行任何作业或使用yum命令安装git等基本软件。

[[email protected]<<ip address>> ~]$ df -BG 
Filesystem  1G-blocks Used Available Use% Mounted on 
devtmpfs    79G 1G  79G 1% /dev 
tmpfs    79G 0G  79G 0% /dev/shm 
/dev/xvda1   10G 10G  0G 100%/
/dev/xvdb1   5G 1G  5G 4% /emr 
/dev/xvdb2   95G 12G  84G 12% /mnt 
/dev/xvdf   99G 12G  83G 12% /data

您能否帮我们解决这个问题？

如何将根分区（/ dev/xvda1）磁盘空间增加到30GB？
默认情况下，所有使用yum或rpm的安装都转到根分区（/ dev/xvda1）。如何绕过安装到根分区的软件（/ dev/xvda1）？
无论什么解决方案，它都不应该干扰现有的EMR安装。

帮助将不胜感激。

来源

2017-05-20 Pari Margu

你能否提供关于你的配置的更多细节？核心节点使用哪种实例类型？您是否已将任何其他EBS空间添加到核心节点？ –

核心节点的实例类型为m4.10xlarge（80 vCPU，160 GiB内存，仅EBS存储EBS存储：100 GiB）。我们没有添加任何额外的EBS空间。 –

所有EMR AMI的固定根卷的容量都是10GB，所以您的EMR集群的所有ec2实例都是。您在EMR上选择的所有应用程序都将安装在此根卷上，预计占用此磁盘的90％。此时，既不会增加此卷的大小，也不会改变应用程序的安装行为。因此，您应该避免使用此根卷来安装应用程序，而是将您的自定义应用程序安装在更大的卷上，如/ mnt /。您还可以将一些根目录符号链接到更大的卷，然后安装您的应用程序。

来源

2017-05-22 18:21:41

感谢您的详细信息。我还有更多的解释，1.如何在使用“yum”命令时绕过软件安装到根分区？ 2.如何创建一些根目录的符号链接到更大的卷？帮助将不胜感激。 –

看起来像/var/aws/emr/packages占用了大部分空间（30％）。 Idk如果这个文件夹可以是rm -rf /var/aws/emr/packages'd或者应该符号链接到/mnt，但删除它似乎已经为我工作。

来源

2017-07-13 18:39:51 Nathan

AWS EMR集群中的磁盘空间问题

回答

相关问题