主页 / dba / 问题

问题[aurora](dba)

Martin Hope
Tuure Laurinolli
Asked: 2020-05-28 04:31:12 +0800 CST
  • 0

我最近故意删除了我们一张表中的大部分数据。通常，该表主要是追加的，有一个短窗口，在此期间可能会在原始插入之后发生更新。但是，最近大部分数据都被孤立了，我们决定将其删除。

our_db=> delete from my_schema.table where a_column not in (select distinct value from my_schema.another_table);
DELETE 6418263

我希望 VACUUM 能够处理现在大部分为空的页面，但它没有这样做！

our_db=> vacuum(analyze, verbose, disable_page_skipping) my_schema.table;
INFO:  vacuuming "my_schema.table"
INFO:  index "table_pkey" now contains 2 row versions in 46486 pages
DETAIL:  0 index row versions were removed.
46481 index pages have been deleted, 46481 are currently reusable.
CPU: user: 0.21 s, system: 0.00 s, elapsed: 2.76 s.
INFO:  index "table_idx1" now contains 2 row versions in 98919 pages
DETAIL:  0 index row versions were removed.
98914 index pages have been deleted, 98914 are currently reusable.
CPU: user: 0.47 s, system: 0.00 s, elapsed: 5.50 s.
INFO:  index "table_idx2" now contains 2 row versions in 22324 pages
DETAIL:  0 index row versions were removed.
22317 index pages have been deleted, 22317 are currently reusable.
CPU: user: 0.10 s, system: 0.00 s, elapsed: 1.63 s.
INFO:  index "table_idx3" now contains 2 row versions in 22252 pages
DETAIL:  0 index row versions were removed.
22245 index pages have been deleted, 22245 are currently reusable.
CPU: user: 0.11 s, system: 0.00 s, elapsed: 1.68 s.
INFO:  index "table_idx4" now contains 2 row versions in 22373 pages
DETAIL:  0 index row versions were removed.
22366 index pages have been deleted, 22366 are currently reusable.
CPU: user: 0.09 s, system: 0.01 s, elapsed: 1.39 s.
INFO:  index "table_idx5" now contains 2 row versions in 69761 pages
DETAIL:  0 index row versions were removed.
69755 index pages have been deleted, 69755 are currently reusable.
CPU: user: 0.32 s, system: 0.00 s, elapsed: 4.98 s.
INFO:  index "table_idx6" now contains 2 row versions in 71399 pages
DETAIL:  0 index row versions were removed.
71388 index pages have been deleted, 71388 are currently reusable.
CPU: user: 0.31 s, system: 0.02 s, elapsed: 5.55 s.
INFO:  "table": found 0 removable, 2 nonremovable row versions in 754123 out of 754123 pages
DETAIL:  0 dead row versions cannot be removed yet, oldest xmin: 6840941
There were 6439255 unused item pointers.
Skipped 0 pages due to buffer pins, 0 frozen pages.
0 pages are entirely empty.
CPU: user: 4.55 s, system: 0.20 s, elapsed: 53.89 s.
INFO:  vacuuming "pg_toast.pg_toast_16458"
INFO:  index "pg_toast_16458_index" now contains 0 row versions in 1 pages
DETAIL:  0 index row versions were removed.
0 index pages have been deleted, 0 are currently reusable.
CPU: user: 0.00 s, system: 0.00 s, elapsed: 0.00 s.
INFO:  "pg_toast_16458": found 0 removable, 0 nonremovable row versions in 0 out of 0 pages
DETAIL:  0 dead row versions cannot be removed yet, oldest xmin: 6840969
There were 0 unused item pointers.
Skipped 0 pages due to buffer pins, 0 frozen pages.
0 pages are entirely empty.
CPU: user: 0.00 s, system: 0.00 s, elapsed: 0.00 s.
INFO:  analyzing "my_schema.table"
INFO:  "table": scanned 30000 of 754123 pages, containing 0 live rows and 0 dead rows; 0 rows in sample, 0 estimated total rows
VACUUM

只有两行是活动的，但仍有超过 750000 页被占用，如果需要顺序扫描，则进行扫描：

our_db=> SELECT count(id) FROM my_schema.table;
 count 
-------
     2
(1 row)

our_db=> explain analyze SELECT count(content) FROM my_schema.table;
                                                        QUERY PLAN                                                         
---------------------------------------------------------------------------------------------------------------------------
 Aggregate  (cost=754123.00..754123.01 rows=1 width=8) (actual time=26795.676..26795.676 rows=1 loops=1)
   ->  Seq Scan on table  (cost=0.00..754123.00 rows=1 width=1036) (actual time=25683.699..26795.666 rows=2 loops=1)
 Planning time: 0.052 ms
 Execution time: 26795.703 ms
(4 rows)

启用 disable_page_skipping 后，为什么 VACUUM 不摆脱空的冻结页面？

postgresql aurora
Martin Hope
Yago Carvalho
Asked: 2019-08-13 12:16:24 +0800 CST
  • 0

我正在使用 Aurora MySql 5.6.10a 并且正在加载具有 7 亿行的表的查询崩溃了，现在它正在回滚。我关闭了自动提交以尝试加快数据加载速度，但现在它让我非常头疼。

当我运行SELECT * FROM `information_schema`.`innodb_trx` ORDER BY `trx_started`;它返回以下内容：

3175241 ROLLING BACK    0000-00-00 00:00:00         335482132
3098119 RUNNING         0000-00-00 00:00:00         441106325

是否可以恢复此回滚并提交这些更改？至少，我可以提交正在运行的查询吗？

先感谢您！

mysql aurora
Martin Hope
user2011104
Asked: 2019-05-08 08:26:40 +0800 CST
  • 0

我正在寻找一种将 Aurora（pg 兼容）数据库日志发布到 cloudwatch 的方法。在 Postgres RDS 中，当我们“修改”实例以启用发布数据库并将日志升级到 cloudwatch 时，有一个选项，但是我在 Aurora 中没有看到这样的选项。

我找到了一些关于如何为 Aurora MySQL 实现这一点的文档，但对于 Aurora Postgres 却没有。

目前这可行吗？感谢对此的任何帮助或指示。

谢谢。

aurora amazon-cloudwatch
Martin Hope
John Paulo Rodriguez
Asked: 2018-07-24 19:42:53 +0800 CST
  • 3

这是第 5 次。它每周发生一次（周二或周三 03:00-07:00 UTC+0）。在控制台上，它显示可用但无法访问。我们尝试等待实例是否会自行恢复，大约 30 分钟后没有任何反应。所以我手动重新启动它，然后在重新启动后（约 5 分钟）再次上线。

了解实际出了什么问题会很有帮助。这只是一个用户和记录很少的开发服务器。

Engine: Aurora MySQL 5.7.12
DB instance class: db.t2.small
Backup time: 16:00-16:30 UTC+0
Maintenance time: sun:17:00-sun:17:30 UTC+0

以下是重启实例后可用日志的唯一列表。

error/mysql-error-running.log.2018-07-24.03 Tue Jul 24 11:14:06 GMT+800 2018    11.8 kB
error/mysql-error-running.log.2018-07-24.04 Tue Jul 24 11:30:00 GMT+800 2018    285.5 kB
error/mysql-error-running.log.2018-07-24.05 Tue Jul 24 12:30:00 GMT+800 2018    31.1 kB
error/mysql-error-running.log.2018-07-24.06 Tue Jul 24 13:30:00 GMT+800 2018    31.8 kB
error/mysql-error-running.log.2018-07-24.07 Tue Jul 24 14:30:00 GMT+800 2018    32.9 kB
error/mysql-error-running.log.2018-07-24.08 Tue Jul 24 15:30:00 GMT+800 2018    29 kB
error/mysql-error-running.log.2018-07-24.09 Tue Jul 24 16:30:00 GMT+800 2018    32.1 kB
error/mysql-error-running.log.2018-07-24.10 Tue Jul 24 17:30:00 GMT+800 2018    27.5 kB
error/mysql-error-running.log.2018-07-24.11 Tue Jul 24 18:30:00 GMT+800 2018    31.7 kB
error/mysql-error-running.log.2018-07-24.12 Tue Jul 24 19:30:00 GMT+800 2018    27.1 kB
error/mysql-error-running.log.2018-07-24.13 Tue Jul 24 20:30:00 GMT+800 2018    22.4 kB
error/mysql-error-running.log.2018-07-24.14 Tue Jul 24 21:30:00 GMT+800 2018    22.8 kB
error/mysql-error-running.log.2018-07-24.15 Tue Jul 24 22:30:00 GMT+800 2018    24.7 kB
error/mysql-error-running.log.2018-07-24.16 Tue Jul 24 23:30:00 GMT+800 2018    24.7 kB
error/mysql-error.log   Wed Jul 25 00:34:45 GMT+800 2018    2.6 kB
external/mysql-external.log Wed Jul 25 00:30:00 GMT+800 2018    7.6 kB

外部/mysql-external.log 

/rdsdbbin/oscar/bin/mysqld, Version: 5.7.12 (MySQL Community Server (GPL)). started with:
Tcp port: 3306 Unix socket: /tmp/mysql.sock
Time,ServerHost,User,UserHost,Command,Payload
/rdsdbbin/oscar/bin/mysqld, Version: 5.7.12 (MySQL Community Server (GPL)). started with:
Tcp port: 3306 Unix socket: /tmp/mysql.sock
Time,ServerHost,User,UserHost,Command,Payload
/rdsdbbin/oscar/bin/mysqld, Version: 5.7.12 (MySQL Community Server (GPL)). started with:
Tcp port: 3306 Unix socket: /tmp/mysql.sock
Time,ServerHost,User,UserHost,Command,Payload
----------------------- END OF LOG ----------------------

错误/mysql-error-running.log.2018-07-24.03显示：https ://pastebin.com/ywmXLR5g 。

错误/mysql-error-running.log.2018-07-24.04显示：https ://pastebin.com/g1dkR6rj 。

错误/mysql-error-running.log.2018-07-24.18显示：https ://pastebin.com/g0aAXfaT 。

所有其他日志均未显示任何内容（见图）。

在此处输入图像描述

事件日志

July 24, 2018 at 11:14:14 AM UTC+8  DB instance restarted
July 24, 2018 at 11:13:31 AM UTC+8  Error restarting mysql: Engine bootstrap failed with no mysqld process running...
July 24, 2018 at 11:12:01 AM UTC+8  Recovery of the DB instance is complete.
July 24, 2018 at 11:04:26 AM UTC+8  Recovery of the DB instance has started. Recovery time will vary with the amount of data to be recovered.

CPU 利用率 (07-24-2018) 在此处输入图像描述

CPU 利用率（2018 年 7 月 11 日至 2018 年 7 月 24 日） 在此处输入图像描述

amazon-rds aurora
Martin Hope
Gorgo
Asked: 2018-03-29 06:24:12 +0800 CST
  • 3

我正在管理一个 Amazon Aurora 账户。几个月前有人设置的。该服务有两个实例（相同的 AZ）： - 项目 - project-eu-central-1b

相同的类（db.t2.small），但不同的“复制角色”。第一个是Reader，第二个是Writer。该服务只有一个集群：project-cluster-1

如果我只需要一个实例，我不想支付两次，但我不确定 Aurora 是否真的需要两个实例（W 和 R）才能工作，或者这是一个糟糕的初始设置。

我可以使用一个实例在 MySQL 端读取/写入和“移动权限”吗？我也对“保留实例”感兴趣。在实际情况下，我想我需要购买两个预留实例，对吧？

谢谢。

amazon-rds aurora
Martin Hope
Glasnhost
Asked: 2018-02-16 02:53:25 +0800 CST
  • 1

我在 AWS 上的 Linux EC2 实例上安装了 mysql/Aurora 1.14 有一个非常奇怪的问题。

我有一个用户能够远程连接到实例，但不能在本地连接。

select user,host from mysql.user;
user | host
admin| %

我可以从外部与该用户联系

mysql -u admin -pxxxx -h ip

但是当我在机器里面时

mysql -u admin -pxxx
ERROR 1045 (28000): Access denied for user 'admin'@'localhost' (using password: YES)

我尝试了其他几件事（有或没有 sudo）

mysql -u admin -pxxx -h localhost
mysql -u admin -pxxx -h 127.0.0.1
mysql -u admin -pxxx --proto=TCP

我也尝试过创建另一个用户

create user 'localtest'@'localhost' identified by 'pwd18';
grant all on mydb.* to 'localtest'@'localhost';
flush privileges;

mysql -u localtest -ppwd18 -h localhost
ERROR 1045 (28000): Access denied for user 'localtest'@'localhost' (using password: YES)

其他奇怪的事情是我在 mysql.user 中没有用户“root”。

如果我从远程尝试，使用用户 admin 将所有数据库上的所有权限授予 localtest，我会得到：

GRANT ALL PRIVILEGES ON *.* TO 'localtest'@'localhost'  
Error Code: 1045. Access denied for user 'admin'@'%' (using password: YES)

没有更多的想法。日志不是很有用，只是说“访问被拒绝”

按照要求：

SELECT USER()
[email protected]   admin@%

SHOW GRANTS FOR 'admin'@'%'
GRANT SELECT, INSERT, UPDATE, DELETE, CREATE, DROP, RELOAD, PROCESS, REFERENCES, INDEX, ALTER, SHOW DATABASES, CREATE TEMPORARY TABLES, LOCK TABLES, EXECUTE, REPLICATION SLAVE, REPLICATION CLIENT, CREATE VIEW, SHOW VIEW, CREATE ROUTINE, ALTER ROUTINE, CREATE USER, EVENT, TRIGGER, LOAD FROM S3, SELECT INTO S3 ON *.* TO 'admin'@'%' IDENTIFIED BY PASSWORD '*xxxxxx' WITH GRANT OPTION

我还明确向用户'localtest'@'localhost'提供了所有上述授权，但没有任何改变

mysql aurora
Martin Hope
Paul
Asked: 2017-01-19 14:46:33 +0800 CST
  • 1

我正在研究计算机视觉数据管道，但不确定如何构建我的数据库以优化写入。

我有大量的图像数据正在持续收集。图像帧用于构建 1-3 秒的视频剪辑，这些剪辑将由远程工作人员进行标记。工作人员使用各种属性（剪辑是否包含对象 x？）标记每个剪辑（使用我构建的 Web 应用程序）。

我当前的管道生成视频剪辑并将它们发送到 S3。Amazon Aurora（兼容 MySQL）数据库用于跟踪每个图像帧、剪辑和相关标签。

“帧”表包含每个图像帧的条目，以及相关的元数据。

“剪辑”表包含每个剪辑的条目，具有字段“start_frame_id”，它是定义给定剪辑中“帧”表中的第一帧的外键。远程工作人员从 S3 访问关联的剪辑，使用剪辑的 sha256 哈希作为键。

'labels' 表包含一个工作人员创建的每个标签的条目，并且与 'clips' 表相关。

“剪辑”和“帧”表都包含原始文件的 sha256 哈希。

该数据库需要针对写入进行大量优化，因为帧和剪辑的数量将非常庞大（每天将添加大约 500K 帧，剪辑为 20fps）。所有到 S3 的上传和对数据库的写入都是从本地机器完成的。

我构建的原型使用自动递增整数作为主键。但是，这需要客户端以小块执行数据库写入。由于每个剪辑都需要引用其起始帧，因此在提交剪辑之前，我必须提交给定剪辑的所有帧以获得第一帧的主键。此解决方案还使得以后添加仅插入写入副本变得棘手/不可能。出于这个原因，我正在讨论使用 UUID 而不是整数，但我知道这会导致连接的性能问题。

我应该使用 UUID 还是整数？

mysql aurora
Martin Hope
Sam
Asked: 2016-09-13 01:49:53 +0800 CST
  • 5

我有一个应用程序的扩展问题，它使用 Aurora 作为数据库并使用 Slick 作为 ORM。我不确定问题出在哪里，但我有一个与 MySQL / Aurora 相关的问题，希望能对我的问题有所了解。

应用程序需要池中的大量连接，否则应用程序开始失败。但是，当我查看 INFORMATION_SCHEMA.PROCESSLIST 时，我可以看到大量线程处于“已清理”状态。

我在一般状态列表中看不到“已清理” - https://dev.mysql.com/doc/refman/5.7/en/general-thread-states.html

“清理干净”到底是什么意思？（我可以猜到，但我找不到任何文档）

下面是线程总数与“清理”中的数量的计数

mysql> select count(*) from INFORMATION_SCHEMA.PROCESSLIST where STATE = 'cleaned up' order by time desc ;
+----------+
| count(*) |
+----------+
|    11982 |
+----------+
1 row in set (0.08 sec)

mysql> select count(*) from INFORMATION_SCHEMA.PROCESSLIST order by time desc ;
+----------+
| count(*) |
+----------+
|    12007 |
+----------+
1 row in set (0.08 sec)
mysql aurora