主页 / coding / 问题 / 79095508
Accepted
Ishigami
Asked: 2024-10-17 03:10:34 +0800 CST

Pandas groupby 变换平均值，用于大型数据框的当前行之前的日期

  • 772

我有一个 Pandas 数据框，看起来像

df = pd.DataFrame([['John', 'A', '1/1/2017', '10'],
                   ['John', 'A', '2/2/2017', '15'],
                   ['John', 'A', '2/2/2017', '20'],
                   ['John', 'A', '3/3/2017', '30'],
                   ['Sue', 'B', '1/1/2017', '10'],
                   ['Sue', 'B', '2/2/2017', '15'],
                   ['Sue', 'B', '3/2/2017', '20'],
                   ['Sue', 'B', '3/3/2017', '7'],
                   ['Sue', 'B', '4/4/2017', '20']],
                  columns=['Customer', 'Group', 'Deposit_Date', 'DPD'])

我想创建一个名为 的新行PreviousMean。此列是该客户今年迄今为止的 DPD 平均值。即包括所有 DPD，但不包括与当前存款日期匹配的行。如果不存在以前的记录，则为空或 0。

因此期望的结果如下

  Customer  Group  Deposit_Date  DPD  PreviousMean
0     John      A    2017-01-01   10           NaN
1     John      A    2017-02-02   15          10.0
2     John      A    2017-02-02   20          10.0
3     John      A    2017-03-03   30          15.0
4      Sue      B    2017-01-01   10           NaN
5      Sue      B    2017-02-02   15          10.0
6      Sue      B    2017-03-02   20          12.5
7      Sue      B    2017-03-03    7          15.0
8      Sue      B    2017-04-04   20          13.0

在网站和互联网上进行一些研究后，找到了一个解决方案：

df['PreviousMean'] = df.apply(
    lambda x: df[(df.Customer == x.Customer) & 
                 (df.Group == x.Group) & 
                 (df.Deposit_Date < x.Deposit_Date)].DPD.mean(), 
axis=1)

并且运行良好。但是，我的实际数据框要大得多（约 100 万行），上面的代码运行非常慢。

我之前问过类似的问题：Pandas groupby transform mean with date before current row for huge huge dataframe

但这次 groupby 是在两列上进行的，因此解决方案不起作用，我没能尝试将其推广。有没有更好的方法？谢谢

python

1 个回答

  1. Best Answer

    链接的解决方案工作正常，但您必须小心地添加所有组groupby，然后删除匹配的级别droplevel：

    df['Deposit_Date'] = pd.to_datetime(df['Deposit_Date'])

groups = ['Customer', 'Group']

df['PreviousMean'] = (df.groupby(groups)
                        .apply(lambda s: s['DPD'].expanding().mean().shift()
                                                 .mask(s['Deposit_Date'].duplicated())
                                                 .ffill(),
                               include_groups=False)
                        .droplevel(groups)
                     )

    输出：

      Customer Group Deposit_Date  DPD  PreviousMean
0     John     A   2017-01-01   10           NaN
1     John     A   2017-02-02   15          10.0
2     John     A   2017-02-02   20          10.0
3     John     A   2017-03-03   30          15.0
4      Sue     B   2017-01-01   10           NaN
5      Sue     B   2017-02-02   15          10.0
6      Sue     B   2017-03-02   20          12.5
7      Sue     B   2017-03-03    7          15.0
8      Sue     B   2017-04-04   20          13.0
    • 1

相关问题