AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / dba / 问题 / 320418
Accepted
Niyaz
Niyaz
Asked: 2022-12-01 13:05:07 +0800 CST2022-12-01 13:05:07 +0800 CST 2022-12-01 13:05:07 +0800 CST

MySQL中如何管理binlog?

  • 772

我有一个包含三个大表的数据库,它具有以下特点:

  1. 三张表,每张表每小时大约有 15M 次插入。
  2. 没有更新。
  3. Indexing在和的帮助下快速选择查询Partition。
  4. 只保留数据 14 天,我使用PARTITION。每个分区一天。我在 23:50(新的一天开始之前)创建一个新Partition的,然后删除 15 天前的分区。(快速准确)
  5. 我每天备份数据集,一天。(仅昨天的数据)

我监视我的二进制日志 9 天,日志大小急剧增加。问题是:在某些时候,binlog 占用了我所有的磁盘空间。我的问题是:

  1. 就我而言,我需要 binlog 吗?(如果好处只是复制我现在不需要它)
  2. 管理 binlog 的最佳方式是什么?(如果我保留它)
  3. Partition和binlog有什么关系吗?(如果我禁用它)

运行的命令、表和 MySQL 配置如下所示。

du -ch /var/lib/mysql/binlog.* | tail -n 1
innodb_file_per_table
innodb_flush_method=O_DIRECT
innodb_log_file_size=1G
innodb_buffer_pool_size=4G
日期 以 GB 为单位的总大小
2022-11-22 289GB
2022-11-23 300GB
2022-11-24 311GB
2022-11-25 322GB
2022-11-26 334GB
2022-11-27 364GB
2022-11-28 378GB
2022-11-29 417GB
2022-11-30 437GB
mysql
  • 1 1 个回答
  • 60 Views

1 个回答

  • Voted
  1. Best Answer
    Bill Karwin
    2022-12-02T08:32:04+08:002022-12-02T08:32:04+08:00

    二进制日志有几种用途:

    • 复制,如你所知。
    • 时间点恢复。如果您需要从最近的备份中恢复,使用自该备份以来更改的二进制日志可以使您恢复到最新的更改(前提是您仍然有二进制日志)。请参阅https://dev.mysql.com/doc/refman/8.0/en/point-in-time-recovery-binlog.html
    • 提供变更数据捕获工具(一个开源示例是Debezium),因此您可以将 MySQL 流式传输到数据仓库或其他目的地。
    • 有时调查可疑的数据更改。这是有限的用途,因为二进制日志记录时间戳而不是用户名。审计日志会更好,但我经常遇到管理层认为他们不需要审计日志的环境,但随后发生了一些事情,他们希望调查一些数据更改。

    如果这些用途中的一种或多种适用于您的情况,那么您应该保留二进制日志。你没有提供足够的信息让我知道这一点。

    除非您使部分或全部文件过期,否则二进制日志会累积并变得越来越大。您可以使用PURGE BINARY LOGS手动执行此操作(这将不允许您删除最后一个二进制日志,因为当前正在写入该日志文件)。

    • 在 MySQL 8.0 中,二进制日志也默认在 30 天后自动过期,或者您可以将其设置为不同的时间段(参见binlog_expire_logs_seconds)。

    • 在 MySQL 5.x 中,您可以选择配置二进制日志的自动过期,但默认设置是永远保留所有二进制日志(请参阅expire_logs_days)。

    请注意,过期意味着当二进制日志翻转以打开一个新文件时,它会检查最旧的文件,如果它们早于过期时间窗口,它们将被删除。请记住,在日志打开新文件之前不会发生这种情况。使用 MySQL 5.x 时,这可能会导致在进行大量数据导入/导出时文件不会过期的情况,因为文件期限的粒度以天为单位。换句话说,如果你的过期时间是超过1天的日志,但是你一天填满了500GB的数据,你可以累积500个binlog文件,而且没有一个超过1天的,所以它们还没有过期. 所以我很高兴他们在 MySQL 8.0 中将粒度更改为 1 秒。

    分区和二进制日志之间没有特殊关系。二进制日志记录所有 DML 和 DDL 更改(尽管给定会话可能会禁止写入二进制日志)。

    DDL 始终以语句格式写入二进制日志。根据表的大小,ALTER TABLE 不可能在二进制日志中占用更多空间。所以如果你的二进制日志增加很多,那是因为 DML (INSERT/UPDATE/DELETE)。您每天的 DROP PARTITION 概不负责。

    • 1

相关问题

  • 是否有任何 MySQL 基准测试工具?[关闭]

  • 我在哪里可以找到mysql慢日志?

  • 如何优化大型数据库的 mysqldump?

  • 什么时候是使用 MariaDB 而不是 MySQL 的合适时机,为什么?

  • 组如何跟踪数据库架构更改?

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目

    • 12 个回答
  • Marko Smith

    如何让sqlplus的输出出现在一行中?

    • 3 个回答
  • Marko Smith

    选择具有最大日期或最晚日期的日期

    • 3 个回答
  • Marko Smith

    如何列出 PostgreSQL 中的所有模式?

    • 4 个回答
  • Marko Smith

    列出指定表的所有列

    • 5 个回答
  • Marko Smith

    如何在不修改我自己的 tnsnames.ora 的情况下使用 sqlplus 连接到位于另一台主机上的 Oracle 数据库

    • 4 个回答
  • Marko Smith

    你如何mysqldump特定的表?

    • 4 个回答
  • Marko Smith

    使用 psql 列出数据库权限

    • 10 个回答
  • Marko Smith

    如何从 PostgreSQL 中的选择查询中将值插入表中?

    • 4 个回答
  • Marko Smith

    如何使用 psql 列出所有数据库和表?

    • 7 个回答
  • Martin Hope
    Jin 连接到 PostgreSQL 服务器:致命:主机没有 pg_hba.conf 条目 2014-12-02 02:54:58 +0800 CST
  • Martin Hope
    Stéphane 如何列出 PostgreSQL 中的所有模式? 2013-04-16 11:19:16 +0800 CST
  • Martin Hope
    Mike Walsh 为什么事务日志不断增长或空间不足? 2012-12-05 18:11:22 +0800 CST
  • Martin Hope
    Stephane Rolland 列出指定表的所有列 2012-08-14 04:44:44 +0800 CST
  • Martin Hope
    haxney MySQL 能否合理地对数十亿行执行查询? 2012-07-03 11:36:13 +0800 CST
  • Martin Hope
    qazwsx 如何监控大型 .sql 文件的导入进度? 2012-05-03 08:54:41 +0800 CST
  • Martin Hope
    markdorison 你如何mysqldump特定的表? 2011-12-17 12:39:37 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 对 SQL 查询进行计时? 2011-06-04 02:22:54 +0800 CST
  • Martin Hope
    Jonas 如何从 PostgreSQL 中的选择查询中将值插入表中? 2011-05-28 00:33:05 +0800 CST
  • Martin Hope
    Jonas 如何使用 psql 列出所有数据库和表? 2011-02-18 00:45:49 +0800 CST

热门标签

sql-server mysql postgresql sql-server-2014 sql-server-2016 oracle sql-server-2008 database-design query-performance sql-server-2017

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve