Início / coding / Perguntas / 77369441
Accepted
wedrano de carvalho
Asked: 2023-10-27 02:13:11 +0800 CST

grupo polars retornando um valor quando os filtros não correspondem

  • 772

digamos que eu tenha esse dataframe polar

df = pl.DataFrame(
   {
      "group_col": ["g1", "g1", "g2"],
      "b": [1, 2, 3],
      "c": [4, 5, 6]
   }
)

saída

shape: (3, 3)
┌───────────┬─────┬─────┐
│ group_col ┆ b   ┆ c   │
│ ---       ┆ --- ┆ --- │
│ str       ┆ i64 ┆ i64 │
╞═══════════╪═════╪═════╡
│ g1        ┆ 1   ┆ 4   │
│ g1        ┆ 2   ┆ 5   │
│ g2        ┆ 3   ┆ 6   │
└───────────┴─────┴─────┘

eu preciso fazer um grupo assim:

df.group_by("group_col").agg(
    [
        pl.col("c").filter((pl.col("b") >= 1) & (pl.col('b').max() == pl.col('b'))).max().alias("gte"),
    ]
)

saída:

shape: (2, 2)
┌───────────┬─────┐
│ group_col ┆ gte │
│ ---       ┆ --- │
│ str       ┆ i64 │
╞═══════════╪═════╡
│ g1        ┆ 5   │
│ g2        ┆ 6   │
└───────────┴─────┘

neste caso, por que o valor da coluna gte do grupo g1 não é nulo? dado o & (pl.col('b').max() == pl.col('b'))filtro?

python-polars

2 respostas

  1. Best Answer

    Qualquer que seja o group_by, limita o que o agg vê apenas ao que está em cada grupo.

    Experimente isto:

    (
    df
    .group_by('group_col')
    .agg(
        pl.all().max().suffix("max"), 
        pl.all().min().suffix("min")
        )
)
shape: (2, 5)
┌───────────┬──────┬──────┬──────┬──────┐
│ group_col ┆ bmax ┆ cmax ┆ bmin ┆ cmin │
│ ---       ┆ ---  ┆ ---  ┆ ---  ┆ ---  │
│ str       ┆ i64  ┆ i64  ┆ i64  ┆ i64  │
╞═══════════╪══════╪══════╪══════╪══════╡
│ g1        ┆ 2    ┆ 5    ┆ 1    ┆ 4    │
│ g2        ┆ 3    ┆ 6    ┆ 3    ┆ 6    │
└───────────┴──────┴──────┴──────┴──────┘

    Como você pode ver, para o grupo g1, o cmax é 5 porque é o máximo no contexto desse grupo. Então, quando você obtém gte como 5 para g1, é porque a coluna b está no máximo 2 para esse grupo.

    Parece que o que você quer é algo como:

    (
    df
    .filter((pl.col('b').max() == pl.col('b')))
    .group_by("group_col")
    .agg( 
        pl.col("c").filter(pl.col("b") >= 1).max().alias("gte"),
    
    )
)
shape: (1, 2)
┌───────────┬─────┐
│ group_col ┆ gte │
│ ---       ┆ --- │
│ str       ┆ i64 │
╞═══════════╪═════╡
│ g2        ┆ 6   │
└───────────┴─────┘

    mas você deseja que g1 seja retornado com um valor nulo. Para conseguir isso, você teria que configurar um df com suas linhas padrão e, em seguida, juntar o resultado anterior ao resultado anterior, como:

    (
    df.select('group_col').unique()
    .join(
        df
        .filter((pl.col('b').max() == pl.col('b')) & (pl.col("b") >= 1))
        .group_by("group_col",maintain_order=True)
        .agg( 
            pl.col("c").max().alias("gte"),
        
        ),
    on='group_col', how='left'
    )
    .sort('group_col')
)
shape: (2, 2)
┌───────────┬──────┐
│ group_col ┆ gte  │
│ ---       ┆ ---  │
│ str       ┆ i64  │
╞═══════════╪══════╡
│ g1        ┆ null │
│ g2        ┆ 6    │
└───────────┴──────┘
    • 1

  2. A primeira .max()comparação precisa ser feita no nível da “coluna”, não no nível do “grupo”:

    (df.with_columns(gte = (pl.col("b") >= 1) & (pl.col("b") == pl.col("b").max()))
   .group_by("group_col")
   .agg(pl.col("c").filter(pl.col("gte")).max())
)

    shape: (2, 2)
┌───────────┬──────┐
│ group_col ┆ c    │
│ ---       ┆ ---  │
│ str       ┆ i64  │
╞═══════════╪══════╡
│ g1        ┆ null │
│ g2        ┆ 6    │
└───────────┴──────┘
    • 1

relate perguntas