主页 / server / 问题 / 396100
Accepted
MB.
Asked: 2012-06-07 06:14:49 +0800 CST

S3fs 性能改进或替代方案？

  • 772

我一直在尝试在 EC2 服务器上使用 s3fs，但它真的很慢。我花了最后 5 个小时上传 100MB 的小文件。

我可以做些什么来提高性能还是与 S3fs 相关？如果没有，我可以使用什么替代方案？

amazon-ec2 s3fs

9 个回答

  1. Best Answer

    S3FS 可能不是大量较小文件的最佳选择。S3FS 的开销也相当高。我建议使用像S3Curl这样的东西

    您甚至可以进行并行传输。请记住，它永远不会像 EBS / 本地存储那样快。

    如果您需要将其作为“可安装”存储，我所知道的 S3FS 的唯一替代品是S3Backer或s3ql

    • 11

  2. 我刚刚发布了https://github.com/kahing/goofys的 v0.0.1，部分原因是 s3fs 中的性能问题。文件创建加速为 3-6 倍，第一个字节的时间为 58 倍。欢迎反馈！

    • 9

  3. 我只是将 riofs 与 s3fs 进行了基准测试。我的测试用例是一个相对简单的 bash 脚本，它在找到的每个 .png 上运行 pngquant。在具有约 70 张图像的测试桶中，其中约 20 张 png（分布在很多子目录中，这可能会减慢速度）结果如下：

    s3fs： 3m54
    riofs：15.9s

    所以对于这个测试用例，riofs 快了 15 倍！安装也非常简单，尽管文档有些简洁。

    关于脚本仍然需要 15.9 秒的事实：它不是很有效，而且实际上在 png 上运行 pngquant 是一个 cpu 密集型过程。

    • 5

  4. https://github.com/kahing/goofys

    Goofys 允许您将 S3 存储桶挂载为文件系统。

    它是一个 Filey 系统而不是文件系统，因为 goofys 力求性能第一，POSIX 第二。特别是那些难以在 S3 上支持或会转化为多次往返的事情要么失败（随机写入）要么伪造（没有每个文件的权限）。Goofys 没有磁盘数据缓存（checkout catfs），一致性模型接近开放。

    • 3

  5. 我用过 [1]，它非常好。它有很多命令，使访问 aws 和 s3 变得容易得多。

    1. http://timkay.com/aws/
    • 1

  6. 只需添加riofs即可。我现在看不到任何基准，但有任何人都可以做的问题/请求。

    • 1

  7. 我将 s3fs 与 riofs 进行了比较，并且由于明显更好的性能而几乎切换。问题是 riofs 仍未更新为 v4 签名，这意味着它不适用于 Frankfurt 或 China s3 buckets。根据所有者的说法，更新正在进行中。如果您不使用法兰克福或中国，riofs 无疑是更好的选择。

    • 1

  8. 这有点旧，但可能对到达这里的人有所帮助。

    我正在使用 aws cli，它运行良好 (3 Mb/s)

    pip install awscli --upgrade --user
nano ~/.bash_profile
export PATH="~/.local/bin:$PATH"
aws s3 sync /sourcedir/ s3://bucketname/destdir/
    • 1

  9. 使用rclone mount过并且比 s3fs 快得多

    • 0

相关问题