问题[time-series-database](dba)

我决定改善我的幸福感，如果成功的话，请写下关于此的注释并免费与我的同龄人分享，并尝试帮助他们改善幸福感。但在这条道路上，我需要数据库从业者的基本建议。

背景说明：

在我的研究中，我需要收集许多不同类型的时间序列（GDP、实际 GDP、名义 GDP、消费、投资、人均 GDP、工作小时数、单位劳动力成本等等）。现在，我正在关注并收集大约 155 个时间序列。到目前为止，我一直在统计网页上发布更新后立即手动更新它们。我一直在使用 Excel 电子表格执行此操作（例如，下载新的 excel，然后将必要的数据点复制并粘贴到我的 excel 中）。然而，这是一项非常艰巨的任务，而且容易出错。检查并发现错误是另一个噩梦。因此，总的来说，维护这个 Excel 数据库（更新检查和记录）大约需要每周大约 10-12 小时。

我的任务：

1. 我想创建一个数据库，我将在其中存储所有这些和更多变量（我希望每个变量都有一个名称、描述、源描述（最好包含 URL）、上次更新日期等）。
2. 我还希望能够从下载的 Excel 或 CSV 文件自动更新数据库（这些文件以不同的格式来自各种网页。有些是垂直结构，有些是水平结构）。
3. 我还想要一些错误检查器，以便更轻松地调试基础。
4. 该系列具有不同的频率（有些是每天，有些是每周，有些是每月，有些是每季度，还有一些是每年）。我希望能够使用我自己预先确定的公式轻松地从每日转换为每月或从每月转换为每季度，反之亦然。（无论是平均值还是中值或当前任务需要的任何值）
5. 我还希望以后能够轻松地查询任何变量或多个变量，并在 MATLAB、Python 或 Julia 等各种程序中创建仪表板，以可视化动态并将它们用于这些程序中的回归或模型估计。

问题

对于上述所有任务，您会推荐哪个数据库管理程序（理想情况下，最好是免费和开源的）

PS 我尝试编写 MATLAB 脚本进行自动更新，但是非常不方便。

PPS 这是来自Cross Validated的交叉帖子，希望能在某处得到答案。

谢谢，乔治。

作为我的数据集外观的示例，请参见以下屏幕截图：

我要实现的是为每个客户生成大小相等的时间序列。有些日子他可能有一些活动，因此有一些保留价值指标，在其他日期他可能没有因此为 0。

CustRetention 表如下：

cust_id, date, intensity
...
1,2018-02-02,4
1,2018-02-06,5
...
2,2018-05-05,7
3,2018-02-06,4

为每个 cust_id 生成相等时间序列（比如 240 天）的 sql 是什么？我尝试了以下，但没有用

 drop table if exists retention_weekly_intensity_balanced;

 create table retention_weekly_intensity_balanced as 
 select  
 coalesce(t.cust_id, 'unidentified') as cust, 
 d.date_actual, 
 coalesce(t.size_of_increased_intensity) as size_of_increased_intensity
 from  retention_weekly_intensity t
 left join d_date d
ON
 d.date_actual = t.plaindate
WHERE d.date_actual>='2018-01-01'
AND d.date_actual <= '2018-09-01'
 ;

d_date是一个简单的日历表

我有每 30 分钟从网站收集的数据。此数据如下所示。“纪元”行标签是每个样本的实际纪元时间戳的占位符。随着更多独特名称的发现，顶部的名称列将无限扩展。

table n (multiple tables of data like this)
-------------------------------------------
        James   Tom   Jeff   Leon   Sarah  [...]
epoch1  1       44    22     NULL   3
epoch2  4       33    23     1      NULL
epoch3  5       32    22     2      NULL
...
epochn  x       x     x      x      x

我正在做的是抓取网站上任何被 NLP 库归类为名称的内容，并记录找到的前 40 个名称的频率。所以我抓取了这个网站的整个“页面”，发现名字“Jeff”有 22 个实例，然后将它记录在 Jeff/Epoch1 的表中，频率为 22。

我已经有了名称标记器，但这只是找到可以处理此类数据的东西并提取指标，例如“表 4 中 24 小时前到现在的纪元中 10 个最流行的名字”。我看过 PostgreSQL，但它有一个保守的列限制。理想情况下，将为找到的每个新名称添加列，但这对于我目前发现的数据库来说似乎不可行。

任何人都知道可以存储此数据或最佳实践的任何开源软件吗？

我曾经有一份电子版，据我所知，这是一部关于优化表和查询以处理带时间戳的数据的经典著作。当我 6-8 年前发现它时，它已经很旧了。我确信我也打印并装订了一份副本，但当我离开上一份工作时，它在搬家时消失了。

它与 DBMS 无关，如果标准 SQL 功能和/或各种供应商扩展已经填补了它所解决的漏洞，它可能会过时。然而，现在我想要它，我找不到它。

作为一个它帮助回答的问题的例子：如果你只记录变化的值，那么你的表显示中午是 75 度，下午 2 点上升到 76 度，那么下午 1 点的温度是多少？

我不是在寻找这个问题的答案，但我已经用谷歌搜索和谷歌搜索试图找到一个新的电子副本，但还没有接近。这对这里的任何人来说听起来很熟悉吗？我会很感激任何指示。