Greg Asked: 2016-09-15 11:07:04 +0800 CST2016-09-15 11:07:04 +0800 CST 2016-09-15 11:07:04 +0800 CST HDFS 可以安装在 ZFS 或 BTRFS 硬盘上吗？ 772 我是 hadoop 新手，对 HDFS 如何与 ZFS 或 BTRFS 一起工作感到困惑。 可以使用 ZFS 安装物理驱动器，然后将 HDFS 安装在 ZFS 之上吗？ 还是可以直接安装HDFS？ zfs hdfs btrfs 2 个回答 Voted WatcherOfAll 2018-08-04T10:48:20+08:002018-08-04T10:48:20+08:00 是的; 我的集群在我为 HDFS 配置的分区上使用 btrfs。我要提醒您注意的一件事是使用 brtfs 的透明压缩功能，该功能通过挂载选项启用。Hadoop HDFS 守护进程知道卷的大小和节点上用于 HDFS 的 freeused 及其上的可用空间，如果启用压缩，这些大小值将变得“不真实”，即断言“50% 已满” “500MiB”当卷被压缩安装时，既不意味着它只能容纳 500MiB，也不意味着它是半满的（在 btrfs 卷上启用压缩，您可以编写一个比卷的实际大小大得多的全零文件）。由于这种不可靠性以及压缩和解压缩会产生额外的 CPU 开销， 避免压缩 HDFS 卷的另一个原因是，当守护进程重新排列块与您的复制设置和所有内容时，机器将在一个节点上读取时解压缩块，只是为了将它们写回在另一个节点上压缩。 话虽如此，Hadoop 团队可能想要考虑实现的一个潜在功能是在 HDFS 级别处理压缩；在该制度下，只有在通过代码写入或读取时才会压缩或解压缩块，以包含 hdfs 实用程序。不过，我只是不确定这是否值得 CPU 开销。 Best Answer John Greene 2016-09-15T14:02:36+08:002016-09-15T14:02:36+08:00 是的。HDFS 可以安装在几乎任何支持“/”目录命名和组织约定的 Linux 文件系统上，并且至少有 2 级目录深度。 （来源：https ://hadoop.apache.org/docs/r1.2.1/hdfs_design.html ）
是的; 我的集群在我为 HDFS 配置的分区上使用 btrfs。我要提醒您注意的一件事是使用 brtfs 的透明压缩功能，该功能通过挂载选项启用。Hadoop HDFS 守护进程知道卷的大小和节点上用于 HDFS 的 freeused 及其上的可用空间，如果启用压缩，这些大小值将变得“不真实”，即断言“50% 已满” “500MiB”当卷被压缩安装时，既不意味着它只能容纳 500MiB，也不意味着它是半满的（在 btrfs 卷上启用压缩，您可以编写一个比卷的实际大小大得多的全零文件）。由于这种不可靠性以及压缩和解压缩会产生额外的 CPU 开销，
避免压缩 HDFS 卷的另一个原因是，当守护进程重新排列块与您的复制设置和所有内容时，机器将在一个节点上读取时解压缩块，只是为了将它们写回在另一个节点上压缩。
话虽如此，Hadoop 团队可能想要考虑实现的一个潜在功能是在 HDFS 级别处理压缩；在该制度下，只有在通过代码写入或读取时才会压缩或解压缩块，以包含 hdfs 实用程序。不过，我只是不确定这是否值得 CPU 开销。
是的。HDFS 可以安装在几乎任何支持“/”目录命名和组织约定的 Linux 文件系统上，并且至少有 2 级目录深度。
（来源：https ://hadoop.apache.org/docs/r1.2.1/hdfs_design.html ）