如果文件夹中的hdfs dfs -rmr数据从数据节点中删除，何时？

Question

我们知道，在我们运行rmr命令时，编辑日志已创建。数据节点是否在清除数据之前等待FSImage的更新或者同时发生？是否有任何围绕Journal节点确认事务的先决条件？试图了解HDFS编辑如何工作，其中您可能会有大量磁盘大小变化。在'hdfs dfs -du -s -h/folder'和'hdfs dfsadmin -report'反映大小减少之前需要多长时间？我们尝试删除2TB的数据，1小时后，数据节点本地文件夹（/ data/yarn/datanode）仍然没有减少2TB。

Answer 1

从Hadoop的HDFS删除数据后保留的数据在垃圾文件夹，你需要以下命令来运行释放磁盘空间

Hadoop fs -expunge 

那么空间将被HDFS被释放。

或者你可以在删除数据跳过垃圾

Hadoop fs -rmr -skipTrash /folder 

它不会将数据移动到垃圾桶下面的命令来运行。

注意：文件在/垃圾箱中保留一段可配置的时间。在/ trash中生命期满后，NameNode将文件从HDFS名称空间中删除。