我们需要在磁盘上创建xfs
文件系统 kafka
磁盘的特殊之处kafka
在于磁盘大小
kafka
在我们的例子中磁盘有20TB
大小
我不确定以下内容mkfs
,但我需要建议以了解以下 cli 是否足以xfs
在巨大的磁盘(kafka
机器)上创建文件系统
DISK=sdb
mkfs.xfs -L kafka /dev/$DISK -f
卡夫卡最佳实践
文件系统选择 Kafka 使用磁盘上的常规文件,因此它对特定文件系统没有硬依赖。我们推荐 EXT4 或 XFS。最近对 XFS 文件系统的改进表明它对 Kafka 的工作负载具有更好的性能特征,而不会影响稳定性。注意:不要使用挂载的共享驱动器和任何网络文件系统。根据我们的经验,已知 Kafka 在此类文件系统上存在索引故障。Kafka 使用 MemoryMapped 文件来存储在网络文件系统上存在已知问题的偏移量索引。
是的,
mkfs.xfs
默认值应该足够了。多年来,XFS 已经在数百 TiB 的卷上进行了测试。
Kafka 的 XFS 说明指出
(文档然后继续讨论
largio
,nobarrier
但认为它们是不必要的,所以忽略它们。)与往常一样,测试您的工作量。在生产的负载水平上进行综合测试可能并不容易。至少监控您的 I/O 性能。