我有大量数据，这些数据不断到达。（大约 1000 万行/天，大约 3000 行/10 秒在一天的高峰时间间隔。）
我想将它们存储在 PostgreSQL 数据库中（我使用 PostGis 来处理地理数据，这就是 PostgreSQL 的原因）。
我通常先按时间戳过滤这些数据，然后才想根据其他属性选择数据（因此很少需要处理所有数据）。
我的第一种方法是创建一个在时间戳上有索引的表（以启用对时间戳的快速过滤），我每 10 秒将新到达的行插入到表中（大约 500-3000 行）。这种方法在最初几天有效，但之后将数据插入数据库所花费的时间超过了数据到达的速度（所以我想每 10 秒插入一次新数据，但插入时间超过 10 秒）。（原因显然是更新索引。我使用 COPY 插入数据，如这里所推荐的那样。）
我考虑的其他想法如下，但它们使数据处理变得困难：
- 将不断到达的数据放入不同的表中，然后将其复制到完整的表中，例如每天晚上。但是每天拷贝数据的时间会越来越长，所以时间一长就不可持续了。
- 将每天的数据放入不同的表中。但在这种情况下，很难创建具有重叠间隔或包含多天的查询。（我必须联合表格。）但这个解决方案似乎仍然是最好的......
- 在每次插入之前删除索引（如文档中所写），但随着表的增长，重新创建索引需要越来越多的时间，因此它也不是一个可持续的解决方案。
因为数据是连续到达的（时间戳单调递增），如果我不使用DB，我可以将这些数据存储到文件中（例如1个文件/小时），并根据时间戳对这些文件进行二进制搜索，这样就可以了比使用数据库存储数据快得多（不需要索引），而且它的扩展性也很好（我需要插入和查询相同数量的数据的时间是相同的，它不依赖于总数据尺寸）。所以我认为创建一个满足我要求的解决方案并非不可能。
但很明显，这会导致数据库的可用性大大降低，如果没有 PostgreSQL 的功能（例如进一步过滤数据、PostGIS 功能），在其他方面会更糟。
将数据存储在这些文件中并只在处理期间将它们加载到临时表似乎是解决性能问题的另一种可能的解决方案，但我认为查询会慢得多（因为我必须物理复制数据在磁盘上），这似乎是一个丑陋的解决方案。
我还有什么其他选择可以以可持续的方式处理这些数据量（因此选择和插入相同数量的数据的复杂性不取决于总数据量的大小），但仍然可以合理地查询数据简单的？