主页 / coding / 问题 / 79599115
Accepted
Simon
Asked: 2025-04-30 03:49:22 +0800 CST

如何通过表达式过滤 Polars DataFrame 中的所有列？

  • 772

我有这个示例 Polars DataFrame：

import polars as pl 

df = pl.DataFrame({
    "id": [1, 2, 3, 4, 5],
    "variable1": [15, None, 5, 10, 20],
    "variable2": [40, 30, 50, 10, None],
})

我尝试使用方法过滤数据框的所有列pl.all()，也尝试使用pl.any_horizontal() == Condition。但是我收到以下错误：

ComputeError: The predicate passed to 'LazyFrame.filter' expanded to multiple expressions: 

    col("id").is_not_null(),
    col("variable1").is_not_null(),
    col("variable2").is_not_null(),
This is ambiguous. Try to combine the predicates with the 'all' or `any' expression.

以下是我尝试解决这个问题的尝试。

# Attempt 1:
(
    df
    .filter(
        pl.all().is_not_null()
    )
)
# Attempt 2:
(
    df
    .filter(
        pl.any_horizontal().is_not_null()
    )
)

所需的输出，但它不适用于更大的 DataFrames：

(
    df
    .filter(
        pl.col("variable1").is_not_null(),
        pl.col("variable2").is_not_null()
    )
)

如何以可扩展的方式过滤所有列而无需单独指定每一列？

python

3 个回答

  1. >>> df.filter(pl.all_horizontal(pl.all().is_not_null()))
shape: (3, 3)
┌─────┬───────────┬───────────┐
│ id  ┆ variable1 ┆ variable2 │
│ --- ┆ ---       ┆ ---       │
│ i64 ┆ i64       ┆ i64       │
╞═════╪═══════════╪═══════════╡
│ 1   ┆ 15        ┆ 40        │
│ 3   ┆ 5         ┆ 50        │
│ 4   ┆ 10        ┆ 10        │
└─────┴───────────┴───────────┘
    • 2

  2. 这可能是一个有用的地方，知道这pl.all()是pl.col("*")

    pl.all()
# <Expr ['*'] at 0x12749BA30>

    pl.col("*")
# <Expr ['*'] at 0x12F58D7B0>

    从这个意义上来说，它只是意味着“所有列名”。（即SELECT *来自 SQL）

    仍all_horizontal()是必需的。

    df.filter(pl.all_horizontal(pl.all().is_not_null()))

    shape: (3, 3)
┌─────┬───────────┬───────────┐
│ id  ┆ variable1 ┆ variable2 │
│ --- ┆ ---       ┆ ---       │
│ i64 ┆ i64       ┆ i64       │
╞═════╪═══════════╪═══════════╡
│ 1   ┆ 15        ┆ 40        │
│ 3   ┆ 5         ┆ 50        │
│ 4   ┆ 10        ┆ 10        │
└─────┴───────────┴───────────┘
    • 1
  3. Best Answer

    您需要将多个生成的表达式（假设从第一个 中生成三个矩阵pl.all()，每列一个）折叠成一列。您可以使用 来实现pl.all_horizontal(your, columns, here)：

    >>> df.filter(pl.all_horizontal(pl.col('*').is_not_null()))
shape: (3, 3)
┌─────┬───────────┬───────────┐
│ id  ┆ variable1 ┆ variable2 │
│ --- ┆ ---       ┆ ---       │
│ i64 ┆ i64       ┆ i64       │
╞═════╪═══════════╪═══════════╡
│ 1   ┆ 15        ┆ 40        │
│ 3   ┆ 5         ┆ 50        │
│ 4   ┆ 10        ┆ 10        │
└─────┴───────────┴───────────┘
    • 1

相关问题