主页 / coding / 问题 / 79595836
Accepted
Deftness
Asked: 2025-04-28 13:09:08 +0800 CST

从聚合生成键值映射

  • 772

我有如下原始数据：

┌─────────┬────────┬─────────────────────┐
│  price  │  size  │      timestamp      │
│  float  │ uint16 │      timestamp      │
├─────────┼────────┼─────────────────────┤
│  1697.0 │     11 │ 2009-09-27 18:00:00 │
│  1697.0 │      5 │ 2009-09-27 18:00:00 │
│  1697.0 │      5 │ 2009-09-27 18:00:00 │
│  1697.0 │      5 │ 2009-09-27 18:00:00 │
│  1697.0 │      5 │ 2009-09-27 18:00:00 │
│  1697.0 │      4 │ 2009-09-27 18:00:00 │
│  1697.0 │      1 │ 2009-09-27 18:00:00 │
│  1697.0 │      1 │ 2009-09-27 18:00:00 │
│  1697.0 │      1 │ 2009-09-27 18:00:00 │
│  1697.5 │      3 │ 2009-09-27 18:00:00 │
│  1697.5 │      2 │ 2009-09-27 18:00:00 │
│  1697.0 │      1 │ 2009-09-27 18:00:00 │
│  1698.0 │      1 │ 2009-09-27 18:00:01 │
│ 1698.25 │      1 │ 2009-09-27 18:00:01 │
│ 1698.25 │     10 │ 2009-09-27 18:00:02 │
│ 1698.25 │      4 │ 2009-09-27 18:00:02 │
│ 1697.25 │      6 │ 2009-09-27 18:00:02 │
│ 1697.25 │      2 │ 2009-09-27 18:00:02 │
│  1697.0 │     28 │ 2009-09-27 18:00:02 │
│ 1697.25 │      6 │ 2009-09-27 18:00:03 │
├─────────┴────────┴─────────────────────┤
│ 20 rows                      3 columns │

使用 DuckDB，我想为每个时间戳创建直方图，包括价格和大小。

我的尝试：

    vp = conn.query(f"""
      SET enable_progress_bar = true;
      SELECT
        timestamp,
        histogram(price)
      FROM 'data/tickdata.parquet'
      GROUP BY timestamp
      ORDER BY timestamp

                    """)

这将产生以下内容：

┌─────────────────────┬─────────────────────────────────────────────────────────────────┐
│      timestamp      │                        histogram(price)                         │
│      timestamp      │                       map(float, ubigint)                       │
├─────────────────────┼─────────────────────────────────────────────────────────────────┤
│ 2009-09-27 18:00:00 │ {1697.0=10, 1697.5=2}                                           │
│ 2009-09-27 18:00:01 │ {1698.0=1, 1698.25=1}                                           │
│ 2009-09-27 18:00:02 │ {1697.0=1, 1697.25=2, 1698.25=2}                                │
│ 2009-09-27 18:00:03 │ {1696.0=2, 1696.5=2, 1697.0=2, 1697.25=1}                       │
│ 2009-09-27 18:00:04 │ {1696.0=2, 1696.25=2, 1696.75=1, 1697.0=1, 1697.25=3, 1697.5=1}

乍一看，它“似乎正确”，但是，与每个键关联的“值”不是大小的总和，而是大小的计数。我期望看到的内容是：

┌─────────────────────┬─────────────────────────────────────────────────────────────────┐
│      timestamp      │                        histogram(price)                         │
│      timestamp      │                       map(float, ubigint)                       │
├─────────────────────┼─────────────────────────────────────────────────────────────────┤
│ 2009-09-27 18:00:00 │ {1697.0=39, 1697.5=5}                                           │
│ 2009-09-27 18:00:01 │ {1698.0=1, 1698.25=1}                                           │
│ 2009-09-27 18:00:02 │ {1697.0=28, 1697.25=8, 1698.25=14}

或者：我可以生成下表，但不确定是否有办法将其映射到上面的示例中？

┌─────────────────────┬─────────┬───────────┐
│      timestamp      │  price  │ sum(size) │
│      timestamp      │  float  │  int128   │
├─────────────────────┼─────────┼───────────┤
│ 2009-09-27 18:00:00 │  1697.0 │        39 │
│ 2009-09-27 18:00:00 │  1697.5 │         5 │
│ 2009-09-27 18:00:01 │  1698.0 │         1 │
│ 2009-09-27 18:00:01 │ 1698.25 │         1 │
│ 2009-09-27 18:00:02 │ 1698.25 │        14 │
│ 2009-09-27 18:00:02 │ 1697.25 │         8 │
│ 2009-09-27 18:00:02 │  1697.0 │        28 │
python

1 个回答

  1. Best Answer

    使用此查询来计算数据集中每个时间戳的每个价格的总大小（sum_size）。

    WITH aggregated_data AS (
  SELECT
    timestamp,
    price,
    SUM(size) AS sum_size
  FROM tickdata
  GROUP BY timestamp, price
)
SELECT
  timestamp,
  MAP(ARRAY_AGG(price), ARRAY_AGG(sum_size)) AS histogram
FROM aggregated_data
GROUP BY timestamp
ORDER BY timestamp;
    • 1

相关问题