为 ~10B 对象设计对象存储并使用 mySQL 存储元数据。我们知道我们需要分片，并且正在寻找通用的启发式方法来扩展。希望得到指点并了解你们都使用的粗略计算
AskOverflow.Dev
为 ~10B 对象设计对象存储并使用 mySQL 存储元数据。我们知道我们需要分片，并且正在寻找通用的启发式方法来扩展。希望得到指点并了解你们都使用的粗略计算
单个项目的分片并不太难——您只需要一个层来确定去哪台机器上获取一个项目。
对需要扫描或搜索的内容进行分片可能会很混乱。您必须将查询交给每台可能的机器，让它们进行扫描/搜索，取回结果，然后将它们拼接在一起。GROUP BY、ORDER BY 和 LIMIT 都有问题。您最终会在分片机器和中央聚合器中做一些事情。
您提到存储 10B 元数据行。这听起来像几个 TB。如今，这很容易在一台机器上处理。该表可以进行分区，但在您了解 PARTITION 可以做什么和不可以做什么之前，不要急于这样做。
同时，您的“对象”可能分散在数十台甚至数千台机器上。现在您又遇到了两个问题——知道在哪里查看，以及处理崩溃。
知道去哪里查找——散列很简单，直到您需要更多分片。进行“查找”会在元数据中添加另一列，也许还有一个索引。我更喜欢两者之间的妥协。
崩溃——有一千台机器，你应该计划每周有一个崩溃。它的备份在哪里？或者你有另一个在线副本吗？两个副本是否足够安全？是否所有数千台机器都在同一个位置，从而面临海啸、龙卷风或其他任何原因的风险？
哦，回到信封背面——10B INSERT，一次一行，可能需要一年才能完成。请考虑加载数据和/或批量插入。
索引怪物元数据表与缓存。假设您有 5 个索引，而不是 AUTO_INCREMENT 或 CURRENT_TIMESTAMP——这将是 5 次随机磁盘命中来更新索引。对于数 TB 的内容，无法有效地对其进行缓存。糟糕，无论您如何执行 INSERT，您现在都被限制为每秒插入大约 20 行。每年大约有 3000 万秒，这导致十年来插入您的 10B 行。注意索引！添加 RAID 条带化有助于我的一个小因素。SSD（$$$！）的帮助可能是 5 倍。（而且很难在一台机器上获得超过 1TB 的 SSD。）
这些 URL 将告诉您有关 MyISAM 表中数据指针选项的信息。
http://dev.mysql.com/doc/refman/5.0/en/server-system-variables.html#sysvar_myisam_data_pointer_size
http://dev.mysql.com/doc/refman/5.0/en/full-table.html
根据这些 URL，MyISAM 表理论上可以是
256 TB（对于 myisam_data_pointer_size = 6（默认）
65536 TB（对于 myisam_data_pointer_size = 7（最大值）
最大的 InnoDB 表空间为 64TB。
如果启用innodb_file_per_table ，最大的单个表可以是 64TB 。
此 URL 将为您提供有关 InnoDB 的最大 BLOB、TEXT、VARCHAR、VARBINARY、LONGTEXT 和 BLOB 的更多数字：http: //dev.mysql.com/doc/refman/5.0/en/innodb-file-space.html
单击此处了解每个表的最大列数
至于每个数据库的最大表数，这取决于操作系统。如果给定操作系统（我们称其为 OSFILEMAX）中的文件夹中的文件数量有限制，对于 MyISAM 表，MAXTABLES 是 OSFILEMAX 除以 3（.frm、.MYD、.MYI），MAXTABLES 是 OSFILEMAX 除以 2（.frm、.MYD、.MYI）。 frm, .ibd) 如果在启用 innodb_file_per_table 的情况下使用 InnoDB，如果在禁用 innodb_file_per_table 的情况下使用 InnoDB，则 MAXTABLES 是 OSFILEMAX (.frm)。
我希望这些 URL 和提供的其他答案对您有所帮助！！！
如果您对 Sharding 感兴趣，请查看http://www.scalebase.com - 他们提供透明的分片解决方案，还可以为您推荐正确的分片策略