Início / coding / Perguntas / 79577827
Accepted
Stephen
Asked: 2025-04-17 01:58:39 +0800 CST

Grupos semelhantes a pandas polares salvam em arquivos por cada valor

  • 772

Resumindo um problema maior ao essencial, eu gostaria de fazer o seguinte:

import numpy as np
import pandas as pd

df = pd.DataFrame({'a': np.random.randint(0, 5, 1000), 'b': np.random.random(1000)})

for aval, subdf in df.groupby('a'):
    subdf.to_parquet(f'/tmp/{aval}.parquet')

em Polares usando LazyFrame:

import numpy as np
import pandas as pd
import polars as pl

df = pd.DataFrame({'a': np.random.randint(0, 5, 1000), 'b': np.random.random(1000)})

lf = pl.LazyFrame(df)
# ???

Gostaria de poder controlar o nome dos arquivos de saída de maneira semelhante.

Obrigado!

python

3 respostas

  1. Best Answer

    Você pode usar um esquema de particionamento, por exemploPartitionByKey()

    lf.sink_parquet(
    pl.PartitionByKey("/tmp/output", by="a"),
    mkdir = True
)

    No seu exemplo, isso cria:

    /tmp/output
/tmp/output/a=0
/tmp/output/a=0/0.parquet
/tmp/output/a=1
/tmp/output/a=1/0.parquet
/tmp/output/a=2
/tmp/output/a=2/0.parquet
/tmp/output/a=3
/tmp/output/a=3/0.parquet
/tmp/output/a=4
/tmp/output/a=4/0.parquet

    Os documentos mostram um exemplo de file_path=uso com um retorno de chamada para personalizar ainda mais o nome do arquivo, se necessário.

    • 2

  2. Tente fazer isso com LazyFrameewrite_parquet()

    import numpy as np
import pandas as pd
import polars as pl

df = pd.DataFrame({
    'a': np.random.randint(0, 5, 1000),
    'b': np.random.random(1000)
})

lf = pl.LazyFrame(df)

df_eager = lf.collect()

for aval, subdf in df_eager.group_by('a'):
    subdf.write_parquet(f'/tmp/{aval}.parquet')
    • 0

  3. Parece que você provavelmente precisa fazer algo assim:

    import numpy as np
import pandas as pd
import polars as pl

df = pd.DataFrame({'a': np.random.randint(0, 5, 1000), 'b': np.random.random(1000)})

lf = pl.LazyFrame(df)

groups = lf.unique(subset=["a"]).select(pl.col("a")).collect().iter_rows()
for group in groups:
    group_lf = lf.filter(pl.col("a") == group[0])
    # ...
    • 0

relate perguntas