首页 理论教育 案例与解析:同步HDFS底层文件系统

案例与解析:同步HDFS底层文件系统

时间:2026-01-23 理论教育 景枫 版权反馈
【摘要】:对应的,只会排除EXCLUDE PATH选项中的logs目录,其他非EXCLODE PATHS选项中的目录都已经同步成功。同步HDFS底层文件系统后,底层文件系统上的同步路径下有文件更新时,并不会自动地同步HDFS底层文件系统。另外EXCLUDE_PATHS选项是指定的相对路径,不会递归地去排除,如:将HDFS的/test目录同步到Tachyon的/test目录下,并且排除HDFS下的/test/logs和/test/conf目录,但是,HDFS下的/test/bin目录下的conf和logs并不会排除。

在使用EXCLUDE_PATHS选项时,如果包含多项排除路径,需要用双引号包含,否则会将分号视作命令分隔符,继续执行分号后的命令,如下所示:

这里EXCLUDE_PATHS选项包含logs;conf,但由于没有用双引号包含,因此将分号看成了命令分隔符,在继续执行conf命令时,会报错。

对应的,只会排除EXCLUDE PATH选项中的logs目录,其他非EXCLODE PATHS选项中的目录都已经同步成功。

同步HDFS底层文件系统后,底层文件系统上的同步路径下有文件更新时,并不会自动地同步HDFS底层文件系统。另外EXCLUDE_PATHS选项是指定的相对路径,不会递归地去排除,如:(https://www.xing528.com)

将HDFS的/test目录同步到Tachyon的/test目录下,并且排除HDFS下的/test/logs和/test/conf目录,但是,HDFS下的/test/bin目录下的conf和logs并不会排除。

注意:同步时,会将指定的底层文件系统路径下的数据同步上去,不会把test目录也同步上去。

另外,执行命令时,Tachyon路径必须指定完整路径,不能省略前缀tachyon://master:19998,否则将包括无效的Tachyon URI错误:

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈