空间回收技巧与方法

1.文件的删除和恢复

用户或者应用删除某个文件，这个文件并没有立刻从HDFS中删除。相反，HDFS将这个文件mv到/trash目录。当文件还在/trash目录时，该文件可以被迅速地恢复。文件在/trash目录中保存的时间是可配置的，超过这个时间，Namenode就会将/trash目录中的文件批量从namespace中删除。文件的删除，也将释放关联该文件的数据块。并且需要注意的是，在文件被用户删除和HDFS空闲空间的增加之间会有一个等待时间延迟。当被删除的文件还保留在/trash目录中时，如果用户想恢复这个文件，可以检索浏览/trash目录并检索该文件。/trash目录仅仅保存被删除文件的最近一次拷贝。/trash目录与其他文件目录没有什么不同，除了一点：HDFS在该目录上应用了一个特殊的策略来自动删除文件，目前的默认策略是删除保留超过6h的文件，这个策略以后会定义成可配置的接口。

2.replication因子的减小(www.xing528.com)

当某个文件的replication因子减小，Namenode会选择要删除的过剩的副本。下次心跳测就将该信息传递给Datanode，Datanode就会移除相应的block并释放空间，同样，在调setReplication方法和集群中的空闲空间增加之间会有一个时间延迟。