我有一个时间序列熊猫数据框,它每分钟动态增加列并添加新行:
最初的:
timestamp 100 200 300
2020-11-01 12:00:00 4 3 5
下一分钟:
timestamp 100 200 300 500
2020-11-01 12:00:00 4 3 5 0
2020-11-01 12:01:00 14 3 5 4
数据框每分钟都有这些更新的值等等。
所以理想情况下,我想设计一个支持这种动态列结构的数据库解决方案。列数可能会增长到超过 20-30k+,并且由于它是一分钟的时间序列,因此每年将有 500k+ 行。
我已经读过关系数据库对列数有限制,所以这可能在这里不起作用,而且,因为我正在为新列设置数据并将默认值(0)分配给以前的时间戳,所以我输了MySQL 上的默认参数。
最终,我将查询 1 天、1 个月的数据以获取列的数据及其值。
请为这种类型的动态行和列数据建议一个合适的数据库解决方案。