主页 / coding / 问题 / 78992045
Accepted
usdn
Asked: 2024-09-17 06:40:08 +0800 CST

极坐标系中的滚动模式

  • 772

我有一个长度约为 100M 行的数据框，其中包含不同组中的 ID。其中一些是错误的（以 99 表示）。我正尝试使用滚动模式窗口来纠正它们，类似于下面的代码示例。有没有更好的方法来做到这一点，因为 rolling_map() 非常慢？

import polars as pl
from scipy import stats

def dummy(input):
    return stats.mode(input)[0]

df = pl.DataFrame({'group': [10, 10, 10, 10, 10, 10, 10, 20, 20, 20, 20],
                   'id': [1, 1, 99, 1, 1, 2, 2, 3, 3, 99, 3]})

df.with_columns(pl.col('id')
                 .rolling_map(function=dummy,
                              window_size=3,
                              min_periods=1,
                              center=True)
                 .over('group')
                 .alias('id_mode'))

shape: (11, 3)
╭───────┬─────┬─────────╮
│ group ┆  id ┆ id_mode │
│   i64 ┆ i64 ┆     i64 │
╞═══════╪═════╪═════════╡
│    10 ┆   1 ┆       1 │
│    10 ┆   1 ┆       1 │
│    10 ┆  99 ┆       1 │
│    10 ┆   1 ┆       1 │
│    10 ┆   1 ┆       1 │
│    10 ┆   2 ┆       2 │
│    10 ┆   2 ┆       2 │
│    20 ┆   3 ┆       3 │
│    20 ┆   3 ┆       3 │
│    20 ┆  99 ┆       3 │
│    20 ┆   3 ┆       3 │
╰───────┴─────┴─────────╯
python-polars

1 个回答

  1. Best Answer

    有一些框架级.rolling()方法停留在“表达领域”。

    (df.with_row_index()
   .rolling(group_by="group", index_column="index", period="3i")
   .agg(pl.col("id").mode().first())
)

    shape: (11, 3)
┌───────┬───────┬─────┐
│ group ┆ index ┆ id  │
│ ---   ┆ ---   ┆ --- │
│ i64   ┆ u32   ┆ i64 │
╞═══════╪═══════╪═════╡
│ 10    ┆ 0     ┆ 1   │
│ 10    ┆ 1     ┆ 1   │
│ 10    ┆ 2     ┆ 1   │
│ 10    ┆ 3     ┆ 1   │
│ 10    ┆ 4     ┆ 1   │
│ 10    ┆ 5     ┆ 1   │
│ 10    ┆ 6     ┆ 2   │
│ 20    ┆ 7     ┆ 3   │
│ 20    ┆ 8     ┆ 3   │
│ 20    ┆ 9     ┆ 3   │
│ 20    ┆ 10    ┆ 3   │
└───────┴───────┴─────┘
    • 1

相关问题