问题[amazon-ec2](dba)

我的第一个问题是，我是否需要 SQS 队列来接收我的远程数据，或者它可以直接进入亚马逊云存储解决方案，如 S3 或 EC2？

目前，我的公司使用第三方供应商来收集和报告我们的远程数据。通过远程数据，我的意思是来自我们在荒野中的机器的数据。这些数据每天几次上传到 Amazon Web Services SQS 队列（由第三方供应商设置），然后第三方供应商从队列中轮询数据，将其删除并保存在他们自己的本地数据库中仅一年。该公司只为我们提供报告服务，因此他们不需要长期存储数据。

展望未来，我们希望拥有数据并将其永久存储在 Amazon Web Services (AWS) 中。然后我们想使用机器学习来监控数据并报告机器的任何潜在问题。

重复我的第一个问题，我们是否需要 SQS 队列来接收这些数据，或者它是否可以直接进入亚马逊云存储解决方案，如 S3 或 EC2？

我的第二个问题是，SQS 队列可以将数据发送到两个不同的地方吗？也就是说，队列能否将数据发送给第三方供应商，以及 Amazon Web Services 数据库？

我是一名分析师/数据科学家，所以我知道如何在数据库中使用数据。我只是不知道将其放入数据库的最佳方法。

我在 Centos 7 上使用 Mongodb 3.6.3。

我正在运行以下命令：

sudo mongod --storageEngine wiredTiger --dbpath /data --bind_ip_all --logpath /var/log/mongodb/mongod.log --fork

一切都会正常工作。除了，绑定 all 不够安全。

我曾经在尝试时收到过日志记录错误，--bind_ip 127.0.0.1,privateIP但发现当我这样做时错误会消失bind_ip [127.0.0.1,privateIP]。

但是，当我尝试在本地连接到 mongo 时，它会失败，并且通过我的站点，它会一直坐在那里直到超时。我检查了一下sudo netstat -plnt | egrep mongod，然后什么都没有出现，虽然它成功地分叉了 mongod 进程，但它没有绑定到任何指定的 ips。

--bind_ip_all作为参考，当我在它返回的版本上尝试相同的命令时tcp 0 0 0.0.0.0:27017 0.0.0.0:* LISTEN 1645/mongod。

我的问题是，为什么--bind_ip ips无法绑定到指定的ips？

旁注 - 绑定 ips 时，我应该绑定我的弹性 ip 还是我的私有 ip？

MongoDB 的驱动器大小是否有合适的比例？

例如，如果您有一个 8G 的数据驱动器，那么我的日志驱动器应该有多大？期刊的驱动器怎么样？

我正在关注本教程的更多背景知识，其中指出：

根据解释如何在 EC2 上手动部署 MongoDB 的 MongoDB 教程，其中一个步骤说明您应该：

“用于数据 (1000 IOPS)、日志 (250 IOPS) 和日志 (100 IOPS) 的单个 PIOPS EBS 卷。”

对于具有大量大规模部署实践经验的 DBA 来说，这是一个问题。

• 我们正在尝试构建一个延迟非常低的应用程序。（我们真的想创造最好的用户体验，在这种情况下延迟很重要。）

• 该应用程序基本上是一个查询数据库 (OrientDB) 的 RESTful Node.js 服务器。静态内容/文件托管在其他地方。对象主要在客户端转换为 UI。

• 我们计划使用 Amazon EC2 来托管 Web 服务器和数据库。

• 高可用性也很重要。

• 目前，成本不是主要的决定因素。

你会推荐什么架构？

这里有2个选项，也许还有更多：

• 将 Web 服务器（在本例中为 Node.js）放在与数据库相同的 EC2 实例上。我们将有多个这样的实例来实现可用性和负载平衡。过去，我用它来减少大容量的延迟，但这些系统不必大幅扩展。也是在安置组之前。

• 或者，在与 REST Web 服务器不同的实例上拥有数据库。

背景

数据库大小约为 50 GB，我们需要更好的解决方案。预计流量将在 8 个月内达到该数量的 10 倍（500 GB 数据库）。

它大约是 20% 的写入和 80% 的读取。现在每秒大约有 1000 个查询，而且这个速度还在增加。

我们在 Amazon Web Services 上有一个 Postgres RDS 实例。我们启用了自动备份，并且每天拍摄快照。我们想为我们自己管理的 RDS 实例生成本地“最新”备份。对实例运行 pg_dump 是不够的，因为我们希望能够将数据库恢复到任何时间点。我们希望对 RDS 和所有 WAL 文件进行本地备份，因为该备份已进行。问题：

1. 是否可以访问 RDS 在其备份例程中自动生成的 WAL 文件和备份？这将是理想的。我想下载它们的本地副本。经过初步调查，我觉得这个问题的答案是否定的。听起来 RDS 将其 WAL 文件和备份存储在 S3 中，但这使我们无法访问它们。我很想确认。

2. 有没有其他方法可以访问 RDS 实例上发生的事务（WAL 文件）？我想我们应该能够在 EC2 上创建一个 Postgres 数据库，并将我们的主要“实时”RDS 实例中的事务“馈送”到这个 EC2 实例中。一旦我们的 EC2 实例更新，我们就可以从那里提取 WAL 文件。不过，多么令人头疼：/这种设置可能吗？从我们的 RDS 实例“馈送”到 EC2 实例以使其始终保持最新状态有什么魔力？

谢谢！

yum update作为升级到 2012.09 的一部分，我刚刚在我的 Amazon Linux 实例上运行，它将 PostgreSQL 从 9.1 升级到 9.2。现在 PostgreSQL 不会启动。我该怎么办？

（这是一个非常不完整的问题，因为它只是在这里提供发布答案的地方）。