主页 / coding / 问题 / 79059121
Accepted
gillesa
Asked: 2024-10-06 20:56:51 +0800 CST

从熊猫视角使用 Polars 裁剪标签

  • 772

我正在将一些代码从 迁移Pandas到Polars。我尝试使用cut但polars存在差异（没有bin，所以我必须计算它）。

label但我还是不明白极坐标的结果。

我必须使用比我想要的更多的标签才能获得相同的结果pandas。

import numpy as np
import pandas as pd
import polars as pl

# Exemple de DataFrame Polars
data = {
    "value": [1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
}
df_pl = pl.DataFrame(data)

# Convertir en DataFrame Pandas pour obtenir les breakpoints
df_pd = df_pl.to_pandas()

# Use returbins to get the breakpoints (from pandas)
df_pd["cut_label_pd"], breakpoints = pd.cut(df_pd["value"], 4, labels=["low", "medium", "hight", "very high"], retbins=True)
print(pl.from_pandas(df_pd))

shape: (10, 2)
┌───────┬──────────────┐
│ value ┆ cut_label_pd │
│ ---   ┆ ---          │
│ i64   ┆ cat          │
╞═══════╪══════════════╡
│ 1     ┆ low          │
│ 2     ┆ low          │
│ 3     ┆ low          │
│ 4     ┆ medium       │
│ 5     ┆ medium       │
│ 6     ┆ hight        │
│ 7     ┆ hight        │
│ 8     ┆ very high    │
│ 9     ┆ very high    │
│ 10    ┆ very high    │
└───────┴──────────────┘

print(breakpoints)
# [ 0.991  3.25   5.5    7.75  10.   ]

labels有没有更好的方法？（注意中的值polars cut）

# Cut in polars
labels = ["don't use it", "low", "medium", "hight", "very high", "don't use it too"] 
df_pl = df_pl.with_columns(
    pl.col("value").cut(breaks=breakpoints, labels=labels).alias("cut_label_pl")
)

print(df_pl)

shape: (10, 2)
┌───────┬──────────────┐
│ value ┆ cut_label_pl │
│ ---   ┆ ---          │
│ i64   ┆ cat          │
╞═══════╪══════════════╡
│ 1     ┆ low          │
│ 2     ┆ low          │
│ 3     ┆ low          │
│ 4     ┆ medium       │
│ 5     ┆ medium       │
│ 6     ┆ hight        │
│ 7     ┆ hight        │
│ 8     ┆ very high    │
│ 9     ┆ very high    │
│ 10    ┆ very high    │
└───────┴──────────────┘
python-polars

1 个回答

  1. Best Answer

    简而言之，Polars 不需要 pandasretbins参数产生的那么多断点。Polars 的文档字符串labels指出“标签数量必须等于切点数量加一”。由于我们有 4 个标签，因此我们需要 3 个断点。Polars 不需要 pandas 产生的第一个或最后一个断点。

    无需添加虚假标签，只需减少中断数量即可。您可以将现有代码从 更改为pl.col("value").cut(breaks=breakpoints, ...)，pl.col("value").cut(breaks=breakpoints[1:-1], ...)然后删除两个“不要使用它”标签，这样会更好一些。

    但显然你不想依赖熊猫来计算一些均匀分布的箱子，所以让我们自己做吧！

    从基线开始：

    data = {"value": [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]}
df = pl.DataFrame(data)

# we know these in this case, but we want to generate them dynamically
breaks = [3.25, 5.5, 7.75]
labels = ["low", "medium", "high", "very high"] 
df.with_columns(
    pl.col("value").cut(breaks=breaks, labels=labels).alias("cut_label_pl")
)

    现在让我们计算这些中断。pandas.cut表示bins定义 x 范围内等宽箱的数量。

    def calculate_breakpoints(ser: list | pl.Series, bins: int) -> list:
    if isinstance(ser, list):
        ser = pl.Series(ser)
    min_value, max_value = ser.min(), ser.max() # 1, 10
    bin_size = (max_value - min_value) / bins # (10 - 1) / 4 -> 2.25
    return [min_value + (bin_size * i) for i in range(1, bins)]

# can take a list or a Polars Series
calculate_breakpoints(data["value"], 4) # [3.25, 5.5, 7.75]
calculate_breakpoints(df["value"], 4) # [3.25, 5.5, 7.75]

    总之（如果你改变标签数量，它仍然有效）

    data = {"value": [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]}
df = pl.DataFrame(data)

labels = ["low", "medium", "high", "very high"]
breaks = calculate_breakpoints(df["value"], len(labels))
df.with_columns(
    pl.col("value").cut(breaks=breaks, labels=labels).alias("cut_label_pl")
)

    祝愿你们从熊猫到北极的迁徙顺利！

    • 3

相关问题