Início / coding / Perguntas / 79006642
Accepted
Andi
Asked: 2024-09-20 19:58:52 +0800 CST

Multiplicar elementos da coluna da lista no dataframe polar com elementos da lista python regular

  • 772

Tenho uma pl.DataFramecoluna contendo listas como esta:

import polars as pl

df = pl.DataFrame(
    {
        "symbol": ["A", "A", "B", "B"],
        "roc": [[0.1, 0.2], [0.3, 0.4], [0.5, 0.6], [0.7, 0.8]],
    }
)

shape: (4, 2)
┌────────┬────────────┐
│ symbol ┆ roc        │
│ ---    ┆ ---        │
│ str    ┆ list[f64]  │
╞════════╪════════════╡
│ A      ┆ [0.1, 0.2] │
│ A      ┆ [0.3, 0.4] │
│ B      ┆ [0.5, 0.6] │
│ B      ┆ [0.7, 0.8] │
└────────┴────────────┘

Além disso, tenho uma lista regular de pythonweights = [0.3, 0.7]

Qual é uma maneira eficiente de multiplicar pl.col("roc")por weightsde modo que o primeiro e o segundo elemento da coluna sejam multiplicados pelo primeiro e segundo elemento de weights, respectivamente?

A saída esperada é assim:

shape: (4, 3)
┌────────┬────────────┐──────────────┐
│ symbol ┆ roc        │ roc_wgt      │
│ ---    ┆ ---        │ ---          │
│ str    ┆ list[f64]  │ list[f64]    │
╞════════╪════════════╡══════════════╡
│ A      ┆ [0.1, 0.2] │ [0.03, 0.14] │ = [0.1 * 0.3, 0.2 * 0.7]
│ A      ┆ [0.3, 0.4] │ [0.09, 0.28] │ = [0.3 * 0.3, 0.4 * 0.7]
│ B      ┆ [0.5, 0.6] │ [0.15, 0.42] │ = [0.5 * 0.3, 0.6 * 0.7]
│ B      ┆ [0.7, 0.8] │ [0.21, 0.56] │ = [0.7 * 0.3, 0.8 * 0.7]
└────────┴────────────┘──────────────┘
python

4 respostas

  1. Best Answer

    Há um PR pendente para permitirpl.col.roc * pl.lit(weights)

    Há também um Arraytipo de largura fixa.

    dtype = pl.Array(float, 2)

(df.with_columns(wgt = pl.lit(weights, dtype))
   .with_columns(roc_wgt = pl.col.roc.cast(dtype) * pl.col.wgt)
)

    shape: (4, 4)
┌────────┬────────────┬───────────────┬───────────────┐
│ symbol ┆ roc        ┆ wgt           ┆ roc_wgt       │
│ ---    ┆ ---        ┆ ---           ┆ ---           │
│ str    ┆ list[f64]  ┆ array[f64, 2] ┆ array[f64, 2] │
╞════════╪════════════╪═══════════════╪═══════════════╡
│ A      ┆ [0.1, 0.2] ┆ [0.3, 0.7]    ┆ [0.03, 0.14]  │
│ A      ┆ [0.3, 0.4] ┆ [0.3, 0.7]    ┆ [0.09, 0.28]  │
│ B      ┆ [0.5, 0.6] ┆ [0.3, 0.7]    ┆ [0.15, 0.42]  │
│ B      ┆ [0.7, 0.8] ┆ [0.3, 0.7]    ┆ [0.21, 0.56]  │
└────────┴────────────┴───────────────┴───────────────┘

    Adicionar uma coluna é necessário, pois o pl.lit()caso atualmente é de pânico.

    • 4

  2. Uma opção é executar primeiro explode:

    (df.with_row_index().with_columns(l=weights).explode(['roc', 'l'])
   .with_columns(roc_wgt=pl.col('roc')*pl.col('l'))
   .group_by('index')
   .agg(pl.col('symbol').first(),
        pl.col('roc'),
        pl.col('roc_wgt'))
)

    Saída:

    ┌───────┬────────┬────────────┬──────────────┐
│ index ┆ symbol ┆ roc        ┆ roc_wgt      │
│ ---   ┆ ---    ┆ ---        ┆ ---          │
│ u32   ┆ str    ┆ list[f64]  ┆ list[f64]    │
╞═══════╪════════╪════════════╪══════════════╡
│ 0     ┆ A      ┆ [0.1, 0.2] ┆ [0.03, 0.14] │
│ 1     ┆ A      ┆ [0.3, 0.4] ┆ [0.09, 0.28] │
│ 2     ┆ B      ┆ [0.5, 0.6] ┆ [0.15, 0.42] │
│ 3     ┆ B      ┆ [0.7, 0.8] ┆ [0.21, 0.56] │
└───────┴────────┴────────────┴──────────────┘

    Alternativamente, com map_elements:

    import numpy as np

df.with_columns(roc_wgt=pl.col('roc')
                          .map_elements(lambda x: x*np.array(weights),
                                        return_dtype=pl.List(pl.Float64)))

    Saída:

    ┌────────┬────────────┬──────────────┐
│ symbol ┆ roc        ┆ roc_wgt      │
│ ---    ┆ ---        ┆ ---          │
│ str    ┆ list[f64]  ┆ list[f64]    │
╞════════╪════════════╪══════════════╡
│ A      ┆ [0.1, 0.2] ┆ [0.03, 0.14] │
│ A      ┆ [0.3, 0.4] ┆ [0.09, 0.28] │
│ B      ┆ [0.5, 0.6] ┆ [0.15, 0.42] │
│ B      ┆ [0.7, 0.8] ┆ [0.21, 0.56] │
└────────┴────────────┴──────────────┘
    • 1

  3. Você também pode iterar sobre sua lista de pesos, pegar o elemento correspondente da sua coluna, multiplicá-los e concatenar esses resultados em uma nova lista.

    import polars as pl

df = pl.DataFrame(
    {
        "symbol": ["A", "A", "B", "B"],
        "roc": [[0.1, 0.2], [0.3, 0.4], [0.5, 0.6], [0.7, 0.8]],
    }
)

weights = [.3, .7]

print(
    df.with_columns(
        roc_wgt=pl.concat_list(
            pl.col('roc').list.get(i) * wgt for i, wgt in enumerate(weights)
        )
    )
)
# shape: (4, 3)
# ┌────────┬────────────┬──────────────┐
# │ symbol ┆ roc        ┆ roc_wgt      │
# │ ---    ┆ ---        ┆ ---          │
# │ str    ┆ list[f64]  ┆ list[f64]    │
# ╞════════╪════════════╪══════════════╡
# │ A      ┆ [0.1, 0.2] ┆ [0.03, 0.14] │
# │ A      ┆ [0.3, 0.4] ┆ [0.09, 0.28] │
# │ B      ┆ [0.5, 0.6] ┆ [0.15, 0.42] │
# │ B      ┆ [0.7, 0.8] ┆ [0.21, 0.56] │
# └────────┴────────────┴──────────────┘
    • 1

  4. Infelizmente, o polars ainda não suporta tais operações com listas, mas suporta com structs:

    (
    df.with_columns(
        roc_wgt = pl.col.roc.list.to_struct() * pl.lit(weights).list.to_struct()
    ).with_columns(
        roc_wgt = pl.concat_list(pl.col.roc_wgt.struct.field("*"))
    )
)

    shape: (4, 3)
┌────────┬────────────┬──────────────┐
│ symbol ┆ roc        ┆ roc_wgt      │
│ ---    ┆ ---        ┆ ---          │
│ str    ┆ list[f64]  ┆ list[f64]    │
╞════════╪════════════╪══════════════╡
│ A      ┆ [0.1, 0.2] ┆ [0.03, 0.14] │
│ A      ┆ [0.3, 0.4] ┆ [0.09, 0.28] │
│ B      ┆ [0.5, 0.6] ┆ [0.15, 0.42] │
│ B      ┆ [0.7, 0.8] ┆ [0.21, 0.56] │
└────────┴────────────┴──────────────┘
    • 0

relate perguntas