Início / coding / Perguntas / 79095508
Accepted
Ishigami
Asked: 2024-10-17 03:10:34 +0800 CST

Pandas groupby transforma média com data antes da linha atual para dataframe enorme

  • 772

Eu tenho um dataframe Pandas que se parece com

df = pd.DataFrame([['John', 'A', '1/1/2017', '10'],
                   ['John', 'A', '2/2/2017', '15'],
                   ['John', 'A', '2/2/2017', '20'],
                   ['John', 'A', '3/3/2017', '30'],
                   ['Sue', 'B', '1/1/2017', '10'],
                   ['Sue', 'B', '2/2/2017', '15'],
                   ['Sue', 'B', '3/2/2017', '20'],
                   ['Sue', 'B', '3/3/2017', '7'],
                   ['Sue', 'B', '4/4/2017', '20']],
                  columns=['Customer', 'Group', 'Deposit_Date', 'DPD'])

E eu quero criar uma nova linha chamada PreviousMean. Esta coluna é a média do ano até a data de DPD para aquele cliente. ou seja, inclui todos os DPDs até, mas não incluindo, as linhas que correspondem à data de depósito atual. Se nenhum registro anterior existia, então é nulo ou 0.

Então o resultado desejado parece ser

  Customer  Group  Deposit_Date  DPD  PreviousMean
0     John      A    2017-01-01   10           NaN
1     John      A    2017-02-02   15          10.0
2     John      A    2017-02-02   20          10.0
3     John      A    2017-03-03   30          15.0
4      Sue      B    2017-01-01   10           NaN
5      Sue      B    2017-02-02   15          10.0
6      Sue      B    2017-03-02   20          12.5
7      Sue      B    2017-03-03    7          15.0
8      Sue      B    2017-04-04   20          13.0

E depois de alguma pesquisa no site e na internet aqui está uma solução:

df['PreviousMean'] = df.apply(
    lambda x: df[(df.Customer == x.Customer) & 
                 (df.Group == x.Group) & 
                 (df.Deposit_Date < x.Deposit_Date)].DPD.mean(), 
axis=1)

E funciona bem. No entanto, meu dataframe real é muito maior (~1 milhão de linhas) e o código acima é muito lento.

Já fiz uma pergunta semelhante antes: Pandas groupby transforma média com data antes da linha atual para um enorme dataframe

exceto que desta vez o groupby é feito em duas colunas e, portanto, as soluções não funcionam e eu falhei em tentar generalizá-lo. Existe alguma maneira melhor de fazer isso? Obrigado

python

1 respostas

  1. Best Answer

    A solução vinculada funciona bem, mas você precisa adicionar cuidadosamente todos os grupos groupbye então remover os níveis correspondentes em droplevel:

    df['Deposit_Date'] = pd.to_datetime(df['Deposit_Date'])

groups = ['Customer', 'Group']

df['PreviousMean'] = (df.groupby(groups)
                        .apply(lambda s: s['DPD'].expanding().mean().shift()
                                                 .mask(s['Deposit_Date'].duplicated())
                                                 .ffill(),
                               include_groups=False)
                        .droplevel(groups)
                     )

    Saída:

      Customer Group Deposit_Date  DPD  PreviousMean
0     John     A   2017-01-01   10           NaN
1     John     A   2017-02-02   15          10.0
2     John     A   2017-02-02   20          10.0
3     John     A   2017-03-03   30          15.0
4      Sue     B   2017-01-01   10           NaN
5      Sue     B   2017-02-02   15          10.0
6      Sue     B   2017-03-02   20          12.5
7      Sue     B   2017-03-03    7          15.0
8      Sue     B   2017-04-04   20          13.0
    • 1

relate perguntas