Início / coding / Perguntas / 79027616
Accepted
Ishigami
Asked: 2024-09-26 21:41:17 +0800 CST

Pandas groupby transforma média com data antes da linha atual para um enorme dataframe

  • 772

Eu tenho um dataframe Pandas que se parece com

df = pd.DataFrame([['John', '1/1/2017','10'],
                   ['John', '2/2/2017','15'],
                   ['John', '2/2/2017','20'],
                   ['John', '3/3/2017','30'],
                   ['Sue', '1/1/2017','10'],
                   ['Sue', '2/2/2017','15'],
                   ['Sue', '3/2/2017','20'],
                   ['Sue', '3/3/2017','7'],
                   ['Sue', '4/4/2017','20']],
                   columns=['Customer', 'Deposit_Date','DPD'])

E eu quero criar uma nova linha chamada PreviousMean. Esta coluna é a média do ano até a data de DPD para aquele cliente. ou seja, inclui todos os DPDs até, mas não incluindo, as linhas que correspondem à data de depósito atual. Se nenhum registro anterior existia, então é nulo ou 0.

Então o resultado desejado parece ser

  Customer Deposit_Date  DPD  PreviousMean
0     John   2017-01-01   10           NaN
1     John   2017-02-02   15          10.0
2     John   2017-02-02   20          10.0
3     John   2017-03-03   30          15.0
4      Sue   2017-01-01   10           NaN
5      Sue   2017-02-02   15          10.0
6      Sue   2017-03-02   20          12.5
7      Sue   2017-03-03    7          15.0
8      Sue   2017-04-04   20          13.0

E depois de alguma pesquisa no site e na internet aqui está uma solução:

df['PreviousMean'] = df.apply(
    lambda x: df[(df.Customer == x.Customer) & (df.Deposit_Date < x.Deposit_Date)].DPD.mean(), 
axis=1)

E funciona bem. No entanto, meu datafram real é muito maior (~1 milhão de linhas) e o código acima é muito lento. Existe alguma maneira melhor de fazer isso? Obrigado

python

3 respostas

  1. Tente usar expanding! Aqui está um exemplo:

    df['Deposit_Date']= pd.to_datetime(df['Deposit_Date'])
df =df.sort_values(by=['Customer','Deposit_Date'])
df['DPD']= pd.to_numeric(df['DPD'])
df['PreviousMean'] = (
    df.groupby('Customer')['DPD']
    .expanding() #!!!
    .apply(lambda x: x[:-1].mean() if len(x) > 1 else float('nan'))
    .reset_index(level=0, drop=True)
)
    • 1
  2. Best Answer

    Você pode usar um groupby.applywith personalizado expanding.meane um maskon na duplicateddata para ffilla saída:

    df['Deposit_Date'] = pd.to_datetime(df['Deposit_Date'])
df['PreviousMean'] = (df.groupby('Customer')
                        .apply(lambda s: s['DPD'].expanding().mean().shift()
                                                 .mask(lambda x: s['Deposit_Date'].duplicated())
                                                 .ffill(),
                               include_groups=False)
                        .droplevel(0)
                     )

    NB: isto pressupõe que as datas estejam classificadas.

    Saída:

      Customer Deposit_Date DPD  PreviousMean
0     John   2017-01-01  10           NaN
1     John   2017-02-02  15          10.0
2     John   2017-02-02  20          10.0
3     John   2017-03-03  30          15.0
4      Sue   2017-01-01  10           NaN
5      Sue   2017-02-02  15          10.0
6      Sue   2017-03-02  20          12.5
7      Sue   2017-03-03   7          15.0
8      Sue   2017-04-04  20          13.0

    Intermediários:

      Customer Deposit_Date DPD  expanding.mean  shift  duplicated  mask  PreviousMean
0     John   2017-01-01  10           10.00    NaN       False   NaN           NaN
1     John   2017-02-02  15           12.50   10.0       False  10.0          10.0
2     John   2017-02-02  20           15.00   12.5        True   NaN          10.0
3     John   2017-03-03  30           18.75   15.0       False  15.0          15.0
4      Sue   2017-01-01  10           10.00    NaN       False   NaN           NaN
5      Sue   2017-02-02  15           12.50   10.0       False  10.0          10.0
6      Sue   2017-03-02  20           15.00   12.5       False  12.5          12.5
7      Sue   2017-03-03   7           13.00   15.0       False  15.0          15.0
8      Sue   2017-04-04  20           14.40   13.0       False  13.0          13.0
    • 1

  3. Aqui está uma versão mais otimizada do código, reduzindo operações redundantes, como classificação dentro de cada grupo, e simplificando o cálculo de expansão:

    import pandas as pd
import numpy as np

# Create the DataFrame
df = pd.DataFrame([['John', '1/1/2017','10'],
                   ['John', '2/2/2017','15'],
                   ['John', '2/2/2017','20'],
                   ['John', '3/3/2017','30'],
                   ['Sue', '1/1/2017','10'],
                   ['Sue', '2/2/2017','15'],
                   ['Sue', '3/2/2017','20'],
                   ['Sue', '3/3/2017','7'],
                   ['Sue', '4/4/2017','20']],
                   columns=['Customer', 'Deposit_Date','DPD'])

# Convert 'Deposit_Date' to datetime and 'DPD' to numeric
df['Deposit_Date'] = pd.to_datetime(df['Deposit_Date'])
df['DPD'] = pd.to_numeric(df['DPD'])

# Sort by 'Customer' and 'Deposit_Date' once, outside the groupby
df = df.sort_values(['Customer', 'Deposit_Date']).reset_index(drop=True)

# Group the DataFrame by 'Customer'
df['PreviousMean'] = df.groupby('Customer')['DPD'].expanding().apply(
    lambda x: np.nan if len(x) == 1 else x[:-1].mean()
).reset_index(level=0, drop=True)

print(df)
    • 0

relate perguntas