Início / coding / Perguntas / 79549881
Accepted
DJDuque
Asked: 2025-04-02 14:46:59 +0800 CST

Como reamostrar um conjunto de dados para obter uma distribuição uniforme

  • 772

Tenho um conjunto de dados com um esquema como:

df = pl.DataFrame(
    {
        "target": [
            [1.0, 1.0, 0.0],
            [1.0, 1.0, 0.1],
            [1.0, 1.0, 0.2],
            [1.0, 1.0, 0.8],
            [1.0, 1.0, 0.9],
            [1.0, 1.0, 1.0],
        ],
        "feature": ["a", "b", "c", "d", "e", "f"],
    },
    schema={
        "target": pl.Array(pl.Float32, 3),
        "feature": pl.String,
    },
)

Se eu fizer um histograma dos valores alvo-z, ele ficará assim: original

Quero reamostrar os dados para que fiquem planos ao longo de z.

Consegui fazer isso de uma forma hacky-multi-steps (também muito lenta). Gostaria de saber se as pessoas poderiam sugerir uma forma mais limpa (e mais eficiente)?

O que estou fazendo é:

  1. Encontre as arestas do compartimento do referido histograma:
bins = 2 # Use e.g. 100 or larger in reality
z = df.select(z=pl.col("target").arr.get(2))
z_min = z.min()
z_max = z.max()
breaks = np.linspace(z_min, z_max, num=bins+1)
  1. Descubra quantas contagens estão no compartimento com o menor número de contagens:
counts = (
    df.with_columns(bin=pl.col("target").arr.get(2).cut(breaks))
    .with_columns(counter=pl.int_range(pl.len()).over("bin"))
    .group_by("bin")
    .agg(pl.col("counter").max())
    .filter(pl.col("counter") > 0)  # <- Nasty way of filtering the (-inf, min] bin
    .select(pl.col("counter").min())
).item()
  1. Selecione apenas os elementos "count" em cada bin:
df = (
    df.with_columns(bin=pl.col("target").arr.get(2).cut(breaks))
    .with_columns(counter=pl.int_range(pl.len()).over("bin"))
    .filter(pl.col("counter") <= counts)
    .select("target", "feature")
)

Isso me dá: plano

As pessoas têm alguma sugestão?

python

1 respostas

  1. Best Answer

    Não acho que você possa evitar essas três etapas para reamostragem (embora, dependendo do seu caso de uso, você possa tentar transformar os dados)

    Você pode otimizar um pouco esse código,

    import polars as pl
import numpy as np

# Some random mocked data
rng = np.random.default_rng()
df = pl.DataFrame({'z': rng.lognormal(size=100_000) - 0.5}).filter(pl.col('z').is_between(0.0, 1.0))

z = pl.col('z')

# Create the bins using polars, and only once
cuts = df.select(pl.linear_space(z.min(), z.max(), 99, closed='none'))['z']
df = df.with_columns(bin=z.cut(cuts))

# just use len() instead of range+max()
counts = (
    df
    .group_by("bin")
    .len()
    .select(pl.col("len").min())
).item()

# take the head of each group or sample
result = (
    df
    .group_by('bin')
     # .head(counts)  # You can just use this instead of .map_groups(...sample(counts)),
     # and head() is closer to what you had in the original, but
     # taking only the head() may bias the data if the order is not random
    .map_groups(lambda df: df.sample(counts))
    .drop('bin')
)
print(result)
    • 2

relate perguntas