我有 4 台 MySQL 服务器,每台服务器每天接收大约 400 万条记录。
在对聚合记录进行一些映射处理后,我需要将所有插入的记录聚合到另一个主服务器中。所以这个新服务器每天应该接收大约 1600 万条记录。
我还需要让这个操作尽可能实时,所以我在考虑每分钟左右运行一个脚本来进行同步。或者您可以建议一些其他同步工具或机制。
所以,可能的问题是:
- MySQL 是每天 16-20 百万条记录的正确选择吗?或者我应该尝试其他东西(MongoDB、Elasticsearch 等)
- 哪种工具/语言可以在此类任务中提供最佳性能?
谢谢你。