我公司有 4TB 的数据库。由于许多不同的分析需要完整数据,当前数据库无法处理来自 100 多个用户的并发会话。
是否可以在 s3 上完成数据库复制,以便解决该问题。
我是说
开始
- 首先在 s3 上做 4TB 的完整导出
- 现在我想做增量更新,就像我们在从站上进行数据库复制一样。但在这里我想把它放在 S3 而不是主机上。即使我必须每天做一两次也没关系。
但我不想每天都导出完整的 TB
有没有什么办法
我公司有 4TB 的数据库。由于许多不同的分析需要完整数据,当前数据库无法处理来自 100 多个用户的并发会话。
是否可以在 s3 上完成数据库复制,以便解决该问题。
我是说
开始
但我不想每天都导出完整的 TB
有没有什么办法
你不能做这个。
没有 RDBMS 允许您将数据保存在 S3 中。S3 只是一个互联网对象存储,每次访问都需要您使用特定的 API 下载整个对象。仅当对象小到足以加载一次并适合内存时才实用,例如像 sqlite 一样小的东西,它允许您在内存中加载并且对对象几乎没有更改。
“复制 RDB 数据更改为 S3”?即使是一些 RDBMS “发明”了如此疯狂的功能来使用 S3 分段上传,您的公司也会因大量的 PUT/LIST/GET 请求而获得巨额的 S3 和 AWS 下载费用。
准备建立一个Data-mart/数据仓库,为你的操作RBDMS建立聚合逻辑(触发器,proc来准备一些聚合),因为海量分析数据请求没有灵丹妙药。