有没有人对 HDFS 进行前向同步有好的建议?(“前向同步”相对于“双向同步”)
基本上我有大量文件要放入 HDFS。它是如此之大,以至于我经常会在它完成之前失去连接。我想做的只是对我的文件上传进行“恢复”。但是hadoop fs -put
只会再次上传整个目录(或者如果存在则抱怨)。
任何人都有继续不完整的hdfs上传的好方法吗?
有没有人对 HDFS 进行前向同步有好的建议?(“前向同步”相对于“双向同步”)
基本上我有大量文件要放入 HDFS。它是如此之大,以至于我经常会在它完成之前失去连接。我想做的只是对我的文件上传进行“恢复”。但是hadoop fs -put
只会再次上传整个目录(或者如果存在则抱怨)。
任何人都有继续不完整的hdfs上传的好方法吗?
如果您运行的是足够新的 Hadoop,则可以使用 FUSE 挂载 hdfs,然后使用 rsync。
也可以构建一个仅限本地的 hdfs,然后使用 distcp。