主页 / coding / 问题 / 79549881
Accepted
DJDuque
Asked: 2025-04-02 14:46:59 +0800 CST

如何对数据集进行重新采样以实现均匀分布

  • 772

我有一个具有如下模式的数据集：

df = pl.DataFrame(
    {
        "target": [
            [1.0, 1.0, 0.0],
            [1.0, 1.0, 0.1],
            [1.0, 1.0, 0.2],
            [1.0, 1.0, 0.8],
            [1.0, 1.0, 0.9],
            [1.0, 1.0, 1.0],
        ],
        "feature": ["a", "b", "c", "d", "e", "f"],
    },
    schema={
        "target": pl.Array(pl.Float32, 3),
        "feature": pl.String,
    },
)

如果我制作目标 z 值的直方图，它看起来像： 原来的

我想重新采样数据以使其沿 z 方向平坦。

我设法用一种多步骤的黑客方法完成了这件事（而且速度很慢）。我想知道是否有人可以建议一种更干净（和更高效）的方法？

我正在做的是：

  1. 找到所述直方图的箱边界：
bins = 2 # Use e.g. 100 or larger in reality
z = df.select(z=pl.col("target").arr.get(2))
z_min = z.min()
z_max = z.max()
breaks = np.linspace(z_min, z_max, num=bins+1)
  1. 找出计数最少的箱子中有多少个计数：
counts = (
    df.with_columns(bin=pl.col("target").arr.get(2).cut(breaks))
    .with_columns(counter=pl.int_range(pl.len()).over("bin"))
    .group_by("bin")
    .agg(pl.col("counter").max())
    .filter(pl.col("counter") > 0)  # <- Nasty way of filtering the (-inf, min] bin
    .select(pl.col("counter").min())
).item()
  1. 在每个箱子上仅选择“计数”元素：
df = (
    df.with_columns(bin=pl.col("target").arr.get(2).cut(breaks))
    .with_columns(counter=pl.int_range(pl.len()).over("bin"))
    .filter(pl.col("counter") <= counts)
    .select("target", "feature")
)

这给了我： 平坦的

大家有什么建议吗？

python

1 个回答

  1. Best Answer

    我认为您无法避免重新采样的这三个步骤（尽管根据您的使用情况，您可以尝试转换数据）

    不过你可以稍微优化一下代码，

    import polars as pl
import numpy as np

# Some random mocked data
rng = np.random.default_rng()
df = pl.DataFrame({'z': rng.lognormal(size=100_000) - 0.5}).filter(pl.col('z').is_between(0.0, 1.0))

z = pl.col('z')

# Create the bins using polars, and only once
cuts = df.select(pl.linear_space(z.min(), z.max(), 99, closed='none'))['z']
df = df.with_columns(bin=z.cut(cuts))

# just use len() instead of range+max()
counts = (
    df
    .group_by("bin")
    .len()
    .select(pl.col("len").min())
).item()

# take the head of each group or sample
result = (
    df
    .group_by('bin')
     # .head(counts)  # You can just use this instead of .map_groups(...sample(counts)),
     # and head() is closer to what you had in the original, but
     # taking only the head() may bias the data if the order is not random
    .map_groups(lambda df: df.sample(counts))
    .drop('bin')
)
print(result)
    • 2

相关问题