主页 / coding / 问题 / 79235198
Accepted
PTQuoc
Asked: 2024-11-29 04:02:04 +0800 CST

Pandas Merge - 处理相同列的优雅方法

  • 772

假设我们有两个数据框，其列如下：

df1[['name', 'year', 'col1', 'col2', 'col3']]
df2[['name', 'year', 'col2', 'col3', 'col4']]

我想通过nameand合并 df1 和 df2 ，year条件是保留 的所有值col2 col3，df1如果是，None则使用 中的值df2

我知道如何通过合并然后使用以传统方式来做到df1这df2一点ffill()。

由于我的数据清理过程涉及合并具有相同列的不同 df 的许多步骤，因此当我不得不继续使用ffill()和drop列时，代码就不那么干净了。我不知道是否pd.merge有这样的内置选项？

示例代码：

df1 = pd.DataFrame({'name': ['a', 'a', 'b', 'b', 'c', 'c'],
                    'year': [2000, 2001, 2002, 2003, 2004, 2005],
                    'col1': [1,2,3,4,5,6],
                    'col2': [0,2,4,6,8,None],
                    'col3': [1,3,5,7,None,9]})

df2 = pd.DataFrame({'name': ['b', 'b', 'c', 'c', 'd', 'd'],
                    'year': [2003, 2004, 2004, 2005, 2006, 2007],
                    'col2': [10,20,30,None,50,60],
                    'col3': [100,300,500,700,None,900],
                    'col4': [5,6,7,8,9,10]})

输入：

df1

  name  year  col1  col2  col3
0    a  2000     1  0.00  1.00
1    a  2001     2  2.00  3.00
2    b  2002     3  4.00  5.00
3    b  2003     4  6.00  7.00
4    c  2004     5  8.00   NaN
5    c  2005     6   NaN  9.00

df2

  name  year  col2   col3  col4
0    b  2003 10.00 100.00     5
1    b  2004 20.00 300.00     6
2    c  2004 30.00 500.00     7
3    c  2005   NaN 700.00     8
4    d  2006 50.00    NaN     9
5    d  2007 60.00 900.00    10

期望输出

  name  year  col1  col2   col3  col4
0    a  2000  1.00  0.00   1.00   NaN
1    a  2001  2.00  2.00   3.00   NaN
2    b  2002  3.00  4.00   5.00   NaN
3    b  2003  4.00  6.00   7.00  5.00
4    b  2004   NaN 20.00 300.00  6.00
5    c  2004  5.00  8.00 500.00  7.00
6    c  2005  6.00   NaN   9.00  8.00
7    d  2006   NaN 50.00    NaN  9.00
8    d  2007   NaN 60.00 900.00 10.00
python

2 个回答

  1. Best Answer

    假设名称/年份的唯一组合，您可以concat：groupby.first

    out = pd.concat([df1, df2]).groupby(['name', 'year'], as_index=False).first()

    对于更通用的合并，您可以执行两次合并，排除公共的非键列，然后combine_first：

    cols = ['name', 'year']
common = df1.columns.intersection(df2.columns).difference(cols)

out = (df1.merge(df2.drop(columns=common), on=cols, how='outer')
       .combine_first(df1.drop(columns=common).merge(df2, on=cols, how='outer'))
      )

    另一个选项是merge：

    cols = ['name', 'year']
common = df1.columns.intersection(df2.columns).difference(cols)

out = df1.merge(df2, on=cols, suffixes=(None, '_right'), how='outer')
tmp = out.filter(regex='_right$')

out[common] = out[common].fillna(tmp.set_axis(common, axis=1))

out.drop(columns=tmp.columns, inplace=True)

    最后是groupby.first：

    out = (df1.merge(df2, on=cols, suffixes=(None, '_right'), how='outer')
          .rename(columns=lambda x: x.removesuffix('_right'))
          .groupby(level=0, axis=1, sort=False).first()
      )

# variant for recent pandas versions:
out = (df1.merge(df2, on=cols, suffixes=(None, '_right'), how='outer')
          .rename(columns=lambda x: x.removesuffix('_right'))
          .T.groupby(level=0, sort=False).first().T
      )

    输出：

      name  year  col1  col2   col3  col4
0    a  2000   1.0   0.0    1.0   NaN
1    a  2001   2.0   2.0    3.0   NaN
2    b  2002   3.0   4.0    5.0   NaN
3    b  2003   4.0   6.0    7.0   5.0
4    b  2004   NaN  20.0  300.0   6.0
5    c  2004   5.0   8.0  500.0   7.0
6    c  2005   6.0   NaN    9.0   8.0
7    d  2006   NaN  50.0    NaN   9.0
8    d  2007   NaN  60.0  900.0  10.0
    • 1

  2. Combine_first 填充值，然后删除以 _df1 或 _df2 结尾的列

    merged_df = pd.merge(df1, df2, on=['name', 'year'], how='outer', suffixes=('_df1', '_df2'))
    
for col in merged_df.columns:
    if col.endswith('_df1'):
        merged_df[col.replace('_df1', '')] = merged_df[col].combine_first(merged_df[col.replace('_df1', '_df2')])
    
merged_df = merged_df.loc[:, ~merged_df.columns.str.endswith(('_df1', '_df2'))]
    
merged_df = merged_df[['name', 'year', 'col1', 'col2', 'col3', 'col4']]

    输出

      name  year  col1  col2   col3  col4
0    a  2000   1.0   0.0    1.0   NaN
1    a  2001   2.0   2.0    3.0   NaN
2    b  2002   3.0   4.0    5.0   NaN
3    b  2003   4.0   6.0    7.0   5.0
4    b  2004   NaN  20.0  300.0   6.0
5    c  2004   5.0   8.0  500.0   7.0
6    c  2005   6.0   NaN    9.0   8.0
7    d  2006   NaN  50.0    NaN   9.0
8    d  2007   NaN  60.0  900.0  10.0
    • 1

相关问题