主页 / user-14492001

Omar AlSuwaidi's questions

Martin Hope
Omar AlSuwaidi
Asked: 2025-04-28 01:21:44 +0800 CST
  • 8

给定一个极点数据框，我想提取所有重复的行，同时应用额外的过滤条件，例如：

import polars as pl

df = pl.DataFrame({
    "name": ["Alice", "Bob", "Alice", "David", "Eve", "Bob", "Frank"],
    "city": ["NY", "LA", "NY", "SF", "LA", "LA", "NY"],
    "age": [25, 30, 25, 35, 28, 30, 40]
})

# Trying this:
df.filter((df.is_duplicated()) & (pl.col("city") == "NY"))  # error

然而，这会导致错误：

SchemaError：无法将一系列类型解包object为bool

这暗示着df.is_duplicated()返回一系列类型object，但实际上，它是一个Boolean系列。

令人惊讶的是，通过将表达式放在第一位来重新排序谓词可以使其起作用（但为什么呢？）：
df.filter((pl.col("city") == "NY") & (df.is_duplicated())) # works!正确输出：

shape: (2, 3)
┌───────┬──────┬─────┐
│ name  ┆ city ┆ age │
│ ---   ┆ ---  ┆ --- │
│ str   ┆ str  ┆ i64 │
╞═══════╪══════╪═════╡
│ Alice ┆ NY   ┆ 25  │
│ Alice ┆ NY   ┆ 25  │
└───────┴──────┴─────┘

我理解，根据列的子集过滤重复项时的最佳方法是使用pl.struct，例如：
df.filter((pl.struct(df.columns).is_duplicated()) & (pl.col("city") == "NY")) # works
它可以与附加过滤条件配合使用。

但是，我故意不使用pl.struct，因为我的实际数据框有 40 列，并且我想根据除三列之外的所有列检查重复的行，因此我执行了以下操作：
df.filter(df.drop("col1", "col2", "col3").is_duplicated()) 这可以正常工作，并且比将所有 37 列都写入 方便得多pl.struct。但是，在右侧添加额外的过滤条件时，这种情况会中断，但在左侧不会中断：

df.filter(
    (df.drop("col1", "col2", "col3").is_duplicated()) & (pl.col("col5") == "something")
    )  # breaks!

df.filter(
    (pl.col("col5") == "something") & (df.drop("col1", "col2", "col3").is_duplicated())
    )  # works!

在这种情况下，为什么谓词的顺序（序列与表达式 vs. 表达式与序列）很重要.filter()？这是 Polars 的预期行为，还是一个 bug？

python
Martin Hope
Omar AlSuwaidi
Asked: 2023-08-27 06:24:44 +0800 CST
  • 5

我的 Polars DataFrame 中有一个Categorical列，其值范围从“01”到“10”。当尝试通过以下方式将该列转换为数字表示形式时： 转换值未按预期映射（即“01”未映射为 1，依此类推），并且范围现在也从 0 到 9，不是1到10。deciledfdf.with_columns(pl.col('decile').cast(pl.Int8))

奇怪的是，无论列的原始值decile是什么，它们总是会意外地映射到 [0, 9] 当将其转换为整数数据类型时。

我正在尝试将这些值转换为整数数据类型以用于绘图目的。

这是一个最小的可重现示例：

size = 1e3
df = pl.DataFrame({
    "id": np.random.randint(50, size=int(size), dtype=np.uint16),
    "amount": np.round(np.random.uniform(10, 100000, int(size)).astype(np.float32), 2),
    "quantity": np.random.randint(1, 7, size=int(size), dtype=np.uint16),
})
df = (df
      .groupby("id")
      .agg(revenue=pl.sum("amount"), tot_quantity=pl.sum("quantity"))
     )
df = (df.with_columns(
    pl.col('revenue')
    .qcut(10, labels=[f'q{i:02}' for i in range(10, 0, -1)])
    .alias("decile")
))

如何使转换正确（正如人们期望的值被映射一样），并且与原始值处于相同的范围内？

python