主页 / coding / 问题 / 78979811
Accepted
Connor Elliott
Asked: 2024-09-13 04:11:14 +0800 CST

Polars 查询优化：分类列上的字符串操作

  • 772

对列进行字符串操作是否先将Categorical整个列转换为字符集String，然后执行操作，或者在可能的情况下是否直接对（可能小得多的）分类词典进行操作？

例如df.filter(pl.col('my_category').cast(pl.String).str.contains(...))（还有str.starts_with(...)朋友等）或df.with_columns(pl.col('my_category').cast(pl.String).str.replace(...).cast(pl.Categorical))

python-polars

1 个回答

  1. Best Answer

    它投射一切。

    这是一个小实验

    n=1_000_000
df=pl.DataFrame([
    pl.Series('my_categories', ['applezzzzzzzzzzz']*n+
              ['bananazzzzzzzzzzz']*n+
              ['carrotzzzzzzzzzzzzz']*n, dtype=pl.Categorical)
]).sample(n, shuffle=True)


## Intuitive approach
%%timeit
df.filter(pl.col('my_categories').cast(pl.String).str.contains('pl'))
## 50.8 ms ± 7.47 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

## Convoluted approach that takes advantage of Categories
%%timeit
df.filter(
    pl.col('my_categories').to_physical().is_in(
        df.unique()
        .filter(pl.col('my_categories').cast(pl.String).str.contains('pl'))
        .select(pl.col('my_categories').to_physical())
        .to_series()
        )
    )
## 28.7 ms ± 3.51 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

    如果我降低n到 100k，那么简单方法会更快，它需要 5.27ms，而另一种方法需要 6.18ms。

    琴弦的长度也会影响节奏。

    • 1

相关问题