Início / coding / Perguntas / 79377042
Accepted
Ishigami
Asked: 2025-01-22 16:52:55 +0800 CST

Como gerar uma nova coluna no dataframe que indique as colunas com resultados positivos?

  • 772

Tenho um dataframe que se parece com:

ID   f_1   f_2   f_3
1    1     0     1
2    0     1     1
3    1     1     0
4    1     0     1
5    0     1     1

Não tenho a mínima ideia de como começar. E também meu dataframe original é bem grande (~1M linhas) e, portanto, um método rápido seria muito apreciado.

e eu gostaria de gerar uma nova coluna Resultque registra o par de f's que tem 1 neles, ou seja

ID   f_1   f_2   f_3   Result
1    1     0     1     1_3
2    0     1     1     2_3
3    1     1     0     1_2
4    1     0     1     1_3
5    0     1     1     2_3
pandas

1 respostas

  1. Best Answer

    Você pode usar um dotproduto depois de renomear as colunas com str.replace/ str.removeprefix:

    tmp = df.drop(columns='ID')
df['Result'] = (tmp @ tmp.columns.str.replace('^f', '', regex=True)).str[1:]

# variant
df['Result'] = (tmp @ tmp.columns.str.removeprefix('f')).str[1:]

    Alternativamente, uma abordagem mais clássica de pandas (muito mais lenta) com remodelagem ( melt), filtragem (com query), e groupby.agg:

    df['Result'] = (df.melt('ID', ignore_index=False).query('value == 1')
                  .groupby(level=0)['variable']
                  .agg(lambda x: '_'.join(x.str.extract('_(\d+)', expand=False)))
               )

    Ou com stack:

    s = df.drop(columns='ID').stack()
df['Result'] = (s[s==1].reset_index(-1).groupby(level=0)['level_1']
                .agg(lambda x: '_'.join(x.str.extract('_(\d+)', expand=False)))
               )

    Saída:

       ID  f_1  f_2  f_3 Result
0   1    1    0    1    1_3
1   2    0    1    1    2_3
2   3    1    1    0    1_2
3   4    1    0    1    1_3
4   5    0    1    1    2_3

    Horários

    Em 20K linhas:

    # dot product
2.96 ms ± 161 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

# melt + groupby.agg
965 ms ± 59.4 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

# stack + groupby.agg
928 ms ± 43.9 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

    Em 1M linhas:

    # dot product
359 ms ± 56.8 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

# melt/stack + groupby.agg
did not run under a few minutes
    • 2

relate perguntas