Início / coding / Perguntas / 79531796
Accepted
Ghost
Asked: 2025-03-25 01:51:43 +0800 CST

Polars Dataframe de dicionários aninhados como colunas

  • 772

Tenho um dicionário de colunas aninhadas com o índice como chave em cada uma. Quando tento convertê-lo para um dataframe polars, ele busca os nomes das colunas e os valores corretos, mas cada coluna tem apenas um elemento que é o dicionário dos elementos da coluna, sem "expandi-lo" em uma série.

Um exemplo, digamos que eu tenha:

d = {'col1': {'0':'A','1':'B','2':'C'}, 'col2': {'0':1,'1':2,'2':3}}

Então, quando eu faço um pl.DataFrame(d)ou pl.from_dict(d), eu obtenho:

col1           col2
---            ---
struct[3]      struct[3]
{"A","B","C"}  {1,2,3}

Em vez do dataframe regular.

Alguma ideia de como consertar isso?

Desde já, obrigado!

python-polars

1 respostas

  1. Best Answer

    Não há uma maneira particularmente direta de fazer isso. Você essencialmente tem que pegar cada coluna uma de cada vez e desarticular e então juntar cada coluna novamente.

    Configurar

    d = {'col1': {'0':'A','1':'B','2':'C'}, 'col2': {'0':1,'1':2,'2':3}}
df = pl.DataFrame(d)

    Para (o que eu acho que é a) saída desejada

    
df_final=None
for col in df.columns:
    df_new = df[col].to_frame().unnest(col)
    df_new = df_new.unpivot(variable_name="index", value_name=col)
    if df_final is None:
        df_final=df_new
    else:
        df_final=df_final.join(df_new, on="index", how="full", coalesce=True)
df_final
shape: (3, 3)
┌───────┬──────┬──────┐
│ index ┆ col1 ┆ col2 │
│ ---   ┆ ---  ┆ ---  │
│ str   ┆ str  ┆ i64  │
╞═══════╪══════╪══════╡
│ 0     ┆ A    ┆ 1    │
│ 1     ┆ B    ┆ 2    │
│ 2     ┆ C    ┆ 3    │
└───────┴──────┴──────┘

    Simplificado se as chaves de índice tiverem garantia de serem balanceadas

    Se você tiver certeza de que as chaves de suas colunas aninhadas sempre serão uniformes e classificadas, você pode fazer isso como um map_batchesloop em vez de um for com junções.

    df.select(pl.all().map_batches(lambda s: (
    s.to_frame().unnest(s.name).unpivot()['value']
)))
shape: (3, 2)
┌──────┬──────┐
│ col1 ┆ col2 │
│ ---  ┆ ---  │
│ str  ┆ i64  │
╞══════╪══════╡
│ A    ┆ 1    │
│ B    ┆ 2    │
│ C    ┆ 3    │
└──────┴──────┘
    • 2

relate perguntas