我在 AWS S3 上有一个大的(5-10 GB)二进制文件,需要自定义解析,可能在 python 中。它本质上是由数百万个数据帧组成的序列集,所有数据帧都具有相同的结构。将这些数据导入无服务器/托管 AWS Aurora PostgreSQL 实例的最佳方式是什么?到目前为止,我已经想到: 1. 我可以写入 CSV 文件并使用 COPY,但大小将是天文数字 2. 我可以通过网络分批发送它 3. 使用 AWS Glue,尽管我还在学习。
主页
/
user-116943