Início / coding / Perguntas / 79573964
Accepted
user27247029
Asked: 2025-04-15 04:26:59 +0800 CST

como desaninhar colunas de struct sem descartar structs vazias com r-polares

  • 772

Tenho um DataFrame que precisa separar colunas quando há vírgulas. O problema é quando tenho colunas todas nulas. No exemplo abaixo, preciso de um DataFrame com as colunas "mpg", "wt_0", "wt_1" e "carb_0".

Como posso desaninhar colunas de struct sem descartar structs vazias?

library(polars)

mtcars$carb <- NA_real_

dt <- as_polars_df(mtcars)

dt$select(
  pl$col("mpg"),
  wt = pl$col("wt")$cast(pl$String)$str$replace("\\.", ","),
  carb = pl$col("carb")$cast(pl$String)$str$replace("\\.", ",")
)$with_columns(
  pl$col("wt")$str$split(",")$list$to_struct(
    fields = \(x) paste0("wt_", x),
    n_field_strategy = "max_width"
  ),
  pl$col("carb")$str$split(",")$list$to_struct(
    fields = \(x) paste0("carb_", x),
    n_field_strategy = "max_width"
  )
)$unnest()

shape: (32, 3)
┌──────┬──────┬──────┐
│ mpg  ┆ wt_0 ┆ wt_1 │
│ ---  ┆ ---  ┆ ---  │
│ f64  ┆ str  ┆ str  │
╞══════╪══════╪══════╡
│ 21.0 ┆ 2    ┆ 62   │
│ 21.0 ┆ 2    ┆ 875  │
│ 22.8 ┆ 2    ┆ 32   │
│ 21.4 ┆ 3    ┆ 215  │
│ 18.7 ┆ 3    ┆ 44   │
│ …    ┆ …    ┆ …    │
│ 30.4 ┆ 1    ┆ 513  │
│ 15.8 ┆ 3    ┆ 17   │
│ 19.7 ┆ 2    ┆ 77   │
│ 15.0 ┆ 3    ┆ 57   │
│ 21.4 ┆ 2    ┆ 78   │
└──────┴──────┴──────┘

Versão Python

df.with_columns(
    pl.col("wt", "carb").cast(pl.String).str.replace(r"[.]", ","),
).with_columns(
    pl.col("wt").str.split(",")
      .list.to_struct("max_width", fields=lambda n: f"wt_{n}"),
    pl.col("carb").str.split(",")
      .list.to_struct("max_width", fields=lambda n: f"carb_{n}")
).unnest("wt", "carb")

Se carbnão for nulo, a saída será conforme o esperado.

df = pl.read_csv(b"""mpg,wt,carb
1,1.2,2.3
2,3.4,4.5""")

# shape: (2, 5)
# ┌─────┬──────┬──────┬────────┬────────┐
# │ mpg ┆ wt_0 ┆ wt_1 ┆ carb_0 ┆ carb_1 │
# │ --- ┆ ---  ┆ ---  ┆ ---    ┆ ---    │
# │ i64 ┆ str  ┆ str  ┆ str    ┆ str    │
# ╞═════╪══════╪══════╪════════╪════════╡
# │ 1   ┆ 1    ┆ 2    ┆ 2      ┆ 3      │
# │ 2   ┆ 3    ┆ 4    ┆ 4      ┆ 5      │
# └─────┴──────┴──────┴────────┴────────┘

Se carbfor nulo, não há carb_0coluna na saída.

df = pl.read_csv(b"""mpg,wt,carb
1,1.2,
2,3.4,""")

# shape: (2, 3)
# ┌─────┬──────┬──────┐
# │ mpg ┆ wt_0 ┆ wt_1 │
# │ --- ┆ ---  ┆ ---  │
# │ i64 ┆ str  ┆ str  │
# ╞═════╪══════╪══════╡
# │ 1   ┆ 1    ┆ 2    │
# │ 2   ┆ 3    ┆ 4    │
# └─────┴──────┴──────┘

1 respostas

  1. Best Answer

    Em Python, o que vem à mente é usar .fill_null([None])depois do .str.split()in para ter um único campo nulo para desaninhar.

    shape: (2, 3)
┌─────┬─────┬───────────┐
│ mpg ┆ wt  ┆ carb      │
│ --- ┆ --- ┆ ---       │
│ i64 ┆ str ┆ list[str] │
╞═════╪═════╪═══════════╡
│ 1   ┆ 1,2 ┆ [null]    │
│ 2   ┆ 3,4 ┆ [null]    │
└─────┴─────┴───────────┘

    Não conheço R, mas, ao olhar a documentação sobre r-polares, parece que pl$lit(list(NA))pode ser o equivalente?

    import polars as pl

df = pl.read_csv(b"""
mpg,wt,carb
1,1.2,
2,3.4,
""".strip())

    (
    df.with_columns(
        pl.col("wt", "carb").cast(pl.String).str.replace(r"[.]", ",")
    )
    .with_columns(
        pl.col("wt").str.split(",")
          .fill_null([None])
          .list.to_struct(
              fields = lambda n: f"wt_{n}",
              n_field_strategy = "max_width"
          ),
        pl.col("carb").str.split(",")
          .fill_null([None])
          .list.to_struct(
              fields = lambda n: f"carb_{n}",
              n_field_strategy = "max_width"
          )
    )
    .unnest("wt", "carb")
)

    shape: (2, 4)
┌─────┬──────┬──────┬────────┐
│ mpg ┆ wt_0 ┆ wt_1 ┆ carb_0 │
│ --- ┆ ---  ┆ ---  ┆ ---    │
│ i64 ┆ str  ┆ str  ┆ str    │
╞═════╪══════╪══════╪════════╡
│ 1   ┆ 1    ┆ 2    ┆ null   │
│ 2   ┆ 3    ┆ 4    ┆ null   │
└─────┴──────┴──────┴────────┘
    • 1

relate perguntas