Início / coding / Perguntas / 79335580
Accepted
Karthik S
Asked: 2025-01-07 18:07:29 +0800 CST

Obtendo uma saída estranha ao usar o grupo por aplicação com a função np.select

  • 772

Estou trabalhando com dados de séries temporais nos quais estou tentando realizar a detecção de outliers usando o método IQR.

Dados de amostra:

import pandas as pd
import numpy as np

df = pd.DataFrame({'datecol' : pd.date_range('2024-1-1', '2024-12-31'),
                   'val' : np.random.random.randin(low = 100, high = 5000, size = 8366})

minha função:

def is_outlier(x):
    iqr = x.quantile(.75) - x.quantile(.25)
    outlier = (x <= x.quantile(.25) - 1.5*iqr) | (x >= x.quantile(.75) + 1.5*iqr)
    return np.select([outlier], [1], 0)

df.groupby(df['datecol'].dt.weekday)['val'].apply(is_outlier)

para o qual a saída é algo como abaixo:

0    [1,1,0,0,....
1    [1,0,0,0,....
2    [1,1,0,0,....
3    [1,0,1,0,....
4    [1,1,0,0,....
5    [1,1,0,0,....
6    [1,0,0,1,....

Estou esperando uma única série como saída que eu possa adicionar de volta ao original dataframecomo uma coluna de sinalização.

Alguém pode me ajudar com isso?

python

1 respostas

  1. Best Answer

    Você deve usar groupby.transform, não apply:

    df['flag'] = df.groupby(df['datecol'].dt.weekday)['val'].transform(is_outlier)

    Alternativamente, retorne explicitamente uma Série e use group_keys=False:

    def is_outlier(x):
    iqr = x.quantile(.75) - x.quantile(.25)
    outlier = (x <= x.quantile(.25) - 1.5*iqr) | (x >= x.quantile(.75) + 1.5*iqr)
    return pd.Series(np.where(outlier, 1, 0), index=x.index)

df['flag'] = (df.groupby(df['datecol'].dt.weekday, group_keys=False)
              ['val'].apply(is_outlier)
              )

    Observe que com uma única condição, np.wheredeve ser preferido a np.select.

    Você também pode usar uma abordagem vetorial com groupby.quantile:

    wd = df['datecol'].dt.weekday
g = df.groupby(wd)['val']
q25 = g.quantile(.25)
q75 = g.quantile(.75)
iqr = wd.map(q75-q25)
df['flag'] = 1 - df['val'].between(wd.map(q25) - 1.5*iqr, wd.map(q75) + 1.5*iqr)

    Saída:

           datecol   val  flag
0   2024-01-01  3193     0
1   2024-01-02  1044     0
2   2024-01-03  2963     0
3   2024-01-04  4448     0
4   2024-01-05  1286     0
..         ...   ...   ...
361 2024-12-27  1531     0
362 2024-12-28  4565     0
363 2024-12-29  3396     0
364 2024-12-30  1870     0
365 2024-12-31  3818     0
    • 1

relate perguntas