Início / coding / Perguntas / 77909231
Accepted
xymzh
Asked: 2024-01-31 04:26:56 +0800 CST

Como encontrar as linhas que são diferentes em determinadas colunas entre dataframes

  • 772

Estou tendo dois dataframes:

import pandas as pd
df1=pd.DataFrame({'ID':['A', 'B', 'C', 'D', 'E'], 'Date':['2024-01-01', '2024-01-02', '2024-01-03', '2024-01-04', '2024-01-05'], 'Value1':[1, 2, 3, 4, 5], 'Value2':[5, 6, 7, 8, 9]})
df2=pd.DataFrame({'ID':['A', 'B', 'C', 'D'], 'Date':['2024-01-30', '2024-01-30', '2024-01-30', '2024-01-30'], 'Value1':[1, 2, 7, 4], 'Value2':[5, 6, 7, 9]})

Aqui está como df1fica:

  ID        Date  Value1  Value2
0  A  2024-01-01       1       5
1  B  2024-01-02       2       6
2  C  2024-01-03       3       7
3  D  2024-01-04       4       8
4  E  2024-01-05       5       9

Aqui está como df2fica:

  ID        Date  Value1  Value2
0  A  2024-01-30       1       5
1  B  2024-01-30       2       6
2  C  2024-01-30       7       7
3  D  2024-01-30       4       9

Agora meu objetivo é descobrir quais são as duas linhas entre esses dois dataframes que possuem valores diferentes em colunas ['Value1', 'Value2']baseadas em 'ID'coluna. Neste caso, as linhas com 'ID's as 'C'e 'D'. Observe que a 'Date'coluna é diferente, mas não preciso compará-las.

Alguma ideia sobre uma solução elegante sem empacotar todos os dataframes?

python

2 respostas

  1. Você pode usar mergee querypara encontrar as diferenças:

    >>> (df1.merge(df2, on='ID', how='inner')  # use outer if needed
        .query('(Value1_x != Value1_y) | (Value2_x != Value2_y)')

  ID      Date_x  Value1_x  Value2_x      Date_y  Value1_y  Value2_y
2  C  2024-01-03         3         7  2024-01-30         7         7
3  D  2024-01-04         4         8  2024-01-30         4         9

    O mesmo sem colunas indesejadas:

    cols = ['ID', 'Value1', 'Value2']
out = (pd.merge(df1[cols], df2[cols], on='ID', how='inner')
         .query('(Value1_x != Value1_y) | (Value2_x != Value2_y)'))

    Saída:

    >>> out
  ID  Value1_x  Value2_x  Value1_y  Value2_y
2  C         3         7         7         7
3  D         4         8         4         9
    • 1
  2. Best Answer

    Anti-junção

    Consegui isso com um anti joinpara determinar o IDsque não corresponde entre os dois.

    outer = df1.merge(df2,how='outer',on=['ID','Value1','Value2'],indicator=True)
anti_join = outer[(outer._merge=='left_only')].drop('_merge',axis=1)
anti_join = anti_join[df1['ID'].isin(df2['ID'])]
    • 1

relate perguntas