我有可能为这项任务选择了错误的工具，如果您知道更好的工具，请随时提出建议。
任务：我需要存储键值对。
- 每对为 60 字节。键是 ID 和值 - 两者都是相当随机的或至少是非结构化的。
- 这样的对大约有 2 百万，总共产生大约 110 GB 的纯数据。未来有良好的成长机会。
- 写入负载较重，读取负载较轻。
- 如果能有 1K IOPS 的写入性能就好了，但也许这只是一个梦想，我将不得不选择速度较慢但不那么昂贵的东西。
- 我可以批量写入，但键不会是连续的（例如
123,7,13565而不是1,2,3） - 不需要花哨的搜索，只需给出完整键的值即可。
- 如果重要的话，我使用的是 AWS，但可以切换到一个非常好的解决方案。
- 成本很重要。
Redis 是一个键值存储，所以我想使用它，但是在内存中保留这么大的数据库成本太高，所以我想以一种将从内存中获取数据作为缓存的方式配置 Redis，并且当缓存未命中时 - 来自磁盘。
所以，这与Redis作为备份的持久性无关。
除了 Redis 我还尝试过：
- 目录树中的纯文件，例如
key='abcdef' => ab/cd/ef. Ext2、BtrFS，尝试将写入分布到 16 个分区（约 0.5M 对后性能非常糟糕） - MySQL（悄然死去）
我还考虑过带有数据分层的 AWS Elasticache Redis，但最便宜的实例对我来说成本高昂（约 600 美元/月）
我怎样才能做到这一点？
你不知道。它主要是一个内存缓存数据库。
好的，对于任何数据库系统来说都简单明了。
很酷，20 亿行数据是一个很大的数量，但任何现代数据库系统都应该能够很好地处理它。110 GB 的原始数据大小也很容易管理。
好吧，听起来并发读写就不用太担心了。您能否量化写入发生的速率（例如每分钟 1,000 行）？
1K IOPS 一点也不快。现代 NVMe 设备可以实现超过 100 万次 IOPS。便宜的 NVMe 应至少实现 100K IOPS。
啊，好吧，这就是饼干碎的地方。为配置不足且具有硬限制的硬件支付过高的费用。
那么就避免使用云并构建自己的服务器。几个月或更短的时间就能收回成本。
是的，合理地说，它并不是真的意味着一次在内存中存储如此大量的数据。
这从来都不是办法。文件目录不是数据库系统，并不像数据库系统那样有效地管理数据。
这可行。这里发生了什么？“默默地死去”是什么意思？
不，不要这样做。这只是更多的内存缓存，价格非常高。
您可以使用任何现代关系数据库管理系统 (RDBMS) 来处理您的用例。它很简单，尺寸也很合理。PostgreSQL 可能是免费系统的最佳选择。如果您愿意付费购买企业软件，那么我个人更喜欢 Microsoft SQL Server。
您还可以使用任何现代键值存储数据库系统。由于您已经在 AWS 上，DynamoDB 将是主要选项之一。如果你走这条路，你应该彻底研究它的任何限制，因为我觉得可能有一些限制会让管理变得有点困难。
但是，如果您试图最大限度地降低成本，同时最大限度地提高性能（尤其是写入 IOPS），那么您应该真正摆脱云并构建自己的服务器，正如我之前提到的。对于速度更快的硬件来说，它会便宜得多。任何现代 RDBMS 都可以很好地处理您的用例。
免费火黑客请钻石发送 satnam.jatt。ID