Início / coding / Perguntas / 79188329
Accepted
linkey apiacess
Asked: 2024-11-14 18:27:03 +0800 CST

pandas encontram pares duplicados entre 2 colunas de dados

  • 772

Tenho um conjunto de dados que contém 3 colunas. Essas são conexões de aresta entre nós e a força da conexão. O que estou tentando fazer é encontrar e mesclar as arestas extras que podem ocorrer quando a direção vai na direção oposta.

como um pequeno exemplo

data_frame = pd.DataFrame({"A":["aa", "aa", "aa", "bb", "bb", "cc", "dd", "dd"],
                           "B":["bb", "cc", "dd", "aa", "dd", "aa", "ee", "aa"],
                           "C":[4,3,4,5,3,4,2, 5]})

o gráfico de nós resultante

 aa - bb
 |  \  |
 cc   dd -- ee

Dos nós, temos sobreposição, pois "aa - bb" é o mesmo que "bb - aa" e o mesmo com "aa - dd" e "dd - aa"

Pensei em mesclar A e B, tanto para frente quanto para trás, concatenar os dois dataframes e então executar a, group_by().sum()mas acabei com extras que precisam ser removidos depois.

o ideal seria que funcionasse assim

 A  |  B   |   C                                A  |  B   |   C
aa     bb      4                               aa     bb      9
aa     cc      3                               aa     cc      7
aa     dd      4                               aa     dd      9
bb     aa      5                               bb     dd      3
bb     dd      3                 -->           dd     ee      2
cc     aa      4                               
dd     ee      2
dd     aa      5
python

3 respostas

  1. Best Answer

    Você pode agregar como frozensete então executar um groupby.sum:

    out = (data_frame['C']
       .groupby(data_frame[['A', 'B']].agg(frozenset, axis=1))
       .sum()
       .reset_index()
      )

    Saída:

          index  C
0  (bb, aa)  9
1  (cc, aa)  7
2  (dd, aa)  9
3  (bb, dd)  3
4  (ee, dd)  2

    Variante para obter as colunas originais:

    cols = ['A', 'B']

out = (data_frame
       .groupby(data_frame[['A', 'B']].agg(frozenset, axis=1),
                as_index=False)
       .agg(dict.fromkeys(cols, 'first')|{'C': 'sum'})
      )

    Saída:

        A   B  C
0  aa  bb  9
1  aa  cc  7
2  aa  dd  9
3  bb  dd  3
4  dd  ee  2

    Como a conversão para frozenseté bem lenta, você também pode colocar sortos valores em uma ordem consistente usando , e groupby.sum:

    import numpy as np
tmp = data_frame.copy() # avoid modifying the original frame

tmp[['A', 'B']] = np.sort(data_frame[['A', 'B']], axis=1)

out = tmp.groupby(['A', 'B'], as_index=False).sum()

    Variante do método semelhante sugerido por @PandaKim, com eficiência melhorada:

    cols = ['A', 'B']
out = (data_frame.groupby([*np.sort(data_frame[cols]).T])['C']
                 .sum().rename_axis(cols).reset_index()
      )

    Saída:

        A   B  C
0  aa  bb  9
1  aa  cc  7
2  aa  dd  9
3  bb  dd  3
4  dd  ee  2

    horários:

    insira a descrição da imagem aqui

    • 3

  2. Uma possível solução, cujos passos são:

    • Primeiro, ele usa assignpara criar novas colunas Ae Bcalcular os valores mínimo e máximo nas colunas originais Apara Bcada linha

    • dfé então agrupado por essas novas colunas Ae usando , e a soma da coluna é calculada para cada grupo.BgroupbyC

    (df.assign(A=df[["A", "B"]].min(axis=1), B=df[["A", "B"]].max(axis=1))
 .groupby(["A", "B"], as_index=False)["C"].sum())

    Saída:

        A   B  C
0  aa  bb  9
1  aa  cc  7
2  aa  dd  9
3  bb  dd  3
4  dd  ee  2
    • 1

  3. Código

    Quanto ao agrupamento em qualquer ordem, tentei algumas maneiras diferentes, mas me sinto mais confortável usando grouper com np.sorto resultado de como uma lista.

    import numpy as np
cols = ['A', 'B']
grp = np.sort(data_frame[cols]).T.tolist()
out = data_frame.groupby(grp)['C'].sum().rename_axis(cols).reset_index()
    • 0

relate perguntas