Início / coding / Perguntas / 79015439
Accepted
JL Peyret
Asked: 2024-09-24 00:06:34 +0800 CST

Como faço para preencher um valor fill_null em uma coluna struct?

  • 772

Estou tentando comparar dois dataframes via dfcompare = (df0 == df1)e nulos nunca são considerados idênticos (ao contrário de joinnão haver opção para permitir que nulos correspondam).

Minha abordagem com outros campos é preenchê-los com um "valor vazio" apropriado para seu tipo de dado. O que devo usar para structs?

import polars as pl

df = pl.DataFrame(
    {
        "int": [1, 2, None],
        "data" : [dict(a=1,b="b"),dict(a=11,b="bb"),None]
    }
)

df.describe()
print(df)

df2 = df.with_columns(pl.col("int").fill_null(0))

df2.describe()
print(df2)

# these error out:...
try:
    df3 = df2.with_columns(pl.col("data").fill_null(dict(a=0,b="")))
except (Exception,) as e: 
    print("try#1", e)


try:
    df3 = df2.with_columns(pl.col("data").fill_null(pl.struct(dict(a=0,b=""))))
except (Exception,) as e: 
    print("try#2", e)

Saída:


shape: (3, 2)
┌──────┬─────────────┐
│ int  ┆ data        │
│ ---  ┆ ---         │
│ i64  ┆ struct[2]   │
╞══════╪═════════════╡
│ 1    ┆ {1,"b"}     │
│ 2    ┆ {11,"bb"}   │
│ null ┆ {null,null} │
└──────┴─────────────┘
shape: (3, 2)
┌─────┬─────────────┐
│ int ┆ data        │
│ --- ┆ ---         │
│ i64 ┆ struct[2]   │
╞═════╪═════════════╡
│ 1   ┆ {1,"b"}     │
│ 2   ┆ {11,"bb"}   │
│ 0   ┆ {null,null} │
└─────┴─────────────┘
try#1 invalid literal value: "{'a': 0, 'b': ''}"
try#2 a

Error originated just after this operation:
DF ["int", "data"]; PROJECT */2 COLUMNS; SELECTION: "None"

Minha solução alternativa satisfatória foi para unnestas colunas. Isso funciona bem (melhor ainda, pois permite preenchimentos subcampo por subcampo). Ainda assim, continuo curioso sobre como obter um "literal de struct" adequado que possa ser passado para esses tipos de funções.

Também é possível imaginar querer adicionar uma coluna codificada como emdf4 = df.with_columns(pl.lit("0").alias("zerocol"))

python

2 respostas

  1. Comparando dataframes com valores ausentes

    Há um frame-level pl.DataFrame.equals, que recebe um parâmetro null_equalpadrão para True. Ele pode ser usado da seguinte forma.

    import polars as pl

df = pl.DataFrame({
    "a": [0, 1, None],
    "b": [True, None, False],
})

df.equals(df, null_equal=True)

    True
    • 2
  2. Best Answer

    Um literal de estrutura para usar no contexto de pl.Expr.fill_nullpode ser criado da pl.structseguinte maneira.

    df.with_columns(
    pl.col("data").fill_null(
        pl.struct(a=pl.lit(1), b=pl.lit("MISSING"))
    )
)

    shape: (3, 2)
┌──────┬───────────────┐
│ int  ┆ data          │
│ ---  ┆ ---           │
│ i64  ┆ struct[2]     │
╞══════╪═══════════════╡
│ 1    ┆ {1,"b"}       │
│ 2    ┆ {11,"bb"}     │
│ null ┆ {1,"MISSING"} │
└──────┴───────────────┘
    • 2

relate perguntas