AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / server / 问题

问题[s3fs](server)

Martin Hope
Christian Noel
Asked: 2020-04-20 19:49:11 +0800 CST

mysqldump 占用大量空间

  • 1

我有一台服务器,/分区大小为 20GB。

数据库存储在/mnt/mysql-data大小为 500GB 的分区中。

现在问题来了。每当我运行mysqldump它时,它都会将分区填充/到 100%。我已经tmpdir将/mnt/mysql-data/tmp. 我的数据库总共大约 40GB,现在我想备份它们,/mnt/mysql-data/backups但我无法继续,因为/分区已满 100%。我的 mysqldump 命令是:mysqldump --all-databases > /mnt/s3share/backup.sql";

服务器详情:

  • 10.2.22-MariaDB-log MariaDB 服务器

  • CentOS Linux 版本 7.7.1908(核心)

Filesystem      Size  Used Avail Use% Mounted on
devtmpfs        7.8G     0  7.8G   0% /dev
tmpfs           7.8G     0  7.8G   0% /dev/shm
tmpfs           7.8G  217M  7.6G   3% /run
tmpfs           7.8G     0  7.8G   0% /sys/fs/cgroup
/dev/xvda2       24G  2.4G   20G  11% /
/dev/xvda1      976M  168M  757M  19% /boot
tmpfs           1.6G     0  1.6G   0% /run/user/1000
/dev/xvdc1      500G  123G  378G  25% /mnt/mysql-data
tmpfs           1.6G     0  1.6G   0% /run/user/1001
MariaDB [db_inbox]> show global variables like "%tmp%";
+----------------------------+----------------------+  
| Variable_name              | Value                |  
+----------------------------+----------------------+  
| default_tmp_storage_engine |                      |  
| encrypt_tmp_disk_tables    | OFF                  |  
| encrypt_tmp_files          | OFF                  |  
| innodb_tmpdir              |                      |  
| max_tmp_tables             | 32                   |  
| slave_load_tmpdir          | /mnt/mysql-data/tmp  |  
| tmp_disk_table_size        | 18446744073709551615 |  
| tmp_memory_table_size      | 16777216             |  
| tmp_table_size             | 16777216             |  
| tmpdir                     | /mnt/mysql-data/tmp  |  
+----------------------------+----------------------+  
10 rows in set (0.00 sec)                              

更新#1:

我忘了提到*.sql备份正在写入/mnt/s3share/backups/安装的文件夹,s3fs并且它的缓存必须写入,这可能是在创建 sql 转储时被填满/tmp的原因。/但是,当我运行备份并观察/tmp变化时,它没有显示任何增长。但是当我执行lsof命令时,/tmp我可以看到大量文件被删除。会是这样吗?

mysql amazon-s3 s3fs mariadb mysqldump
  • 2 个回答
  • 599 Views
Martin Hope
magdmartin
Asked: 2016-08-09 14:15:03 +0800 CST

AWS S3 设备上没有剩余空间

  • 1

我正在使用 S3FS 在亚马逊 EC2 实例上安装 S3 存储桶。18 个月以来,一切都很好。

今天我尝试使用 wget 直接在 S3 存储桶上下载一个 5GB 的文件(我之前已经做过的事情没有问题)并且我有一个No space left on device错误。

user@ec2-instance:$ /home/workspaces/$ wget http://example.org/file.xml.gz 
Cannot write to ‘files.xml.gz’ (No space left on device).

user@ec2-instance:$ df
Filesystem        1K-blocks    Used    Available Use% Mounted on
/dev/xvda1          8125880 6576804      1113264  86% /
none                      4       0            4   0% /sys/fs/cgroup
udev               15400288      12     15400276   1% /dev
tmpfs               3082424     216      3082208   1% /run
none                   5120       0         5120   0% /run/lock
none               15412116       0     15412116   0% /run/shm
none                 102400       0       102400   0% /run/user
s3fs           274877906944       0 274877906944   0% /home/workspaces

user@ec2-instance:$ df -i
Filesystem      Inodes  IUsed   IFree IUse% Mounted on
/dev/xvda1      524288 119569  404719   23% /
none           3853029      2 3853027    1% /sys/fs/cgroup
udev           3850072    380 3849692    1% /dev
tmpfs          3853029    262 3852767    1% /run
none           3853029      5 3853024    1% /run/lock
none           3853029      1 3853028    1% /run/shm
none           3853029      3 3853026    1% /run/user
s3fs                 0      0       0     - /home/workspaces

我不明白什么df -i回报。我怀疑 s3fs 显示 0 个 inode 是一个问题,但我不知道下一步该做什么。

这与s3fs 中的问题 288 无关:对于大于 5GB 的文件,设备上没有剩余空间,因为:

  1. 现在已修复
  2. 我已经能够下载大于 5GB 的文件
linux ubuntu amazon-s3 s3fs
  • 2 个回答
  • 7099 Views
Martin Hope
MB.
Asked: 2012-06-07 06:14:49 +0800 CST

S3fs 性能改进或替代方案?

  • 17

我一直在尝试在 EC2 服务器上使用 s3fs,但它真的很慢。我花了最后 5 个小时上传 100MB 的小文件。

我可以做些什么来提高性能还是与 S3fs 相关?如果没有,我可以使用什么替代方案?

amazon-ec2 s3fs
  • 9 个回答
  • 33069 Views

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    新安装后 postgres 的默认超级用户用户名/密码是什么?

    • 5 个回答
  • Marko Smith

    SFTP 使用什么端口?

    • 6 个回答
  • Marko Smith

    命令行列出 Windows Active Directory 组中的用户?

    • 9 个回答
  • Marko Smith

    什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同?

    • 3 个回答
  • Marko Smith

    如何确定bash变量是否为空?

    • 15 个回答
  • Martin Hope
    Tom Feiner 如何按大小对 du -h 输出进行排序 2009-02-26 05:42:42 +0800 CST
  • Martin Hope
    Noah Goodrich 什么是 Pem 文件,它与其他 OpenSSL 生成的密钥文件格式有何不同? 2009-05-19 18:24:42 +0800 CST
  • Martin Hope
    Brent 如何确定bash变量是否为空? 2009-05-13 09:54:48 +0800 CST
  • Martin Hope
    cletus 您如何找到在 Windows 中打开文件的进程? 2009-05-01 16:47:16 +0800 CST

热门标签

linux nginx windows networking ubuntu domain-name-system amazon-web-services active-directory apache-2.4 ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve