Início / coding / Perguntas / 78992703
Accepted
AmirX
Asked: 2024-09-17 13:57:41 +0800 CST

Qual é a melhor maneira de filtrar grupos verificando condicionalmente apenas os valores da primeira linha de cada grupo?

  • 772

Este é meu DataFrame:

import pandas as pd
df = pd.DataFrame(
    {
        'group': list('xxxxyyy'),
        'open': [100, 150, 200, 160, 300, 150, 170],
        'close': [105, 150, 200, 160, 350, 150, 170],
        'stop': [104, 104, 104, 104, 400, 400, 400]
    }
)

A saída esperada é retornar um grupo xcom base na groupcoluna:

  group  open  close  stop
0     x   100    105   104
1     x   150    150   104
2     x   200    200   104
3     x   160    160   104

Lógica:

Quero verificar se df.stop.iloc[0]para cada grupo está entre df.open.iloc[0]e df.close.iloc[0]. E se estiver entre esses dois, quero retornar todo o grupo.

Esta é minha tentativa. Funciona, mas acho que há uma maneira melhor de fazer isso. Note que na ifcláusula, ambas as condições precisam ser verificadas.

def func(df):
    s = df.stop.iloc[0]
    o = df.open.iloc[0]
    c = df.close.iloc[0]

    if (o <= s <= c) or (c <= s <= o):
        return df

out = df.groupby('group').apply(func).reset_index(drop=True)
python

2 respostas

  1. Best Answer

    Você poderia groupby.firstentão construir uma máscara com isin:

    tmp = df.groupby('group').first()
keep = tmp.index[tmp['stop'].between(tmp['open'], tmp['close'])
                |tmp['stop'].between(tmp['close'], tmp['open'])
                ]
df[df['group'].isin(keep)]

    Saída:

      group  open  close  stop
0     x   100    105   104
1     x   150    150   104
2     x   200    200   104
3     x   160    160   104

    Intermediário tmp:

           open  close  stop  o<=s<=c  c<=s<=o     OR
group                                            
x       100    105   104     True    False   True
y       300    350   400    False    False  False

    com groupby.filter:

    def func(df):
    s = df.stop.iloc[0]
    o = df.open.iloc[0]
    c = df.close.iloc[0]

    return (o <= s <= c) or (c <= s <= o)

df.groupby('group').filter(func)

    grupos separados:

    g = df.groupby('group')
tmp = g.first()

keep = tmp.index[tmp['stop'].between(tmp['open'], tmp['close'])
                |tmp['stop'].between(tmp['close'], tmp['open'])
                ]

for x in keep:
    print(f'group {x}')
    print(g.get_group(x))

    Saída:

    group x
  group  open  close  stop
0     x   100    105   104
1     x   150    150   104
2     x   200    200   104
3     x   160    160   104

    sem groupby

    Para este caso específico, você pode até pular groupbye substituí-lo por drop_duplicates:

    tmp = df.drop_duplicates('group')
keep = tmp.loc[tmp['stop'].between(tmp['open'], tmp['close'])
              |tmp['stop'].between(tmp['close'], tmp['open']),
               'group']

out = df[df['group'].isin(keep)]

    horários

    Testado em ~ 7K linhas com grupos de 3 linhas

    # filter
266 ms ± 10.9 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

# groupby.first + isin
1.63 ms ± 24.3 µs per loop (mean ± std. dev. of 7 runs, 1,000 loops each)

# drop_duplicates + isin
1.34 ms ± 34.8 µs per loop (mean ± std. dev. of 7 runs, 1,000 loops each)
    • 2

  2. Você não precisa necessariamente df.groupbypara isso:

    m = (df['stop'].between(df['open'], df['close']) | 
     df['stop'].between(df['close'], df['open'])
     ) & (~df.duplicated())

out = df[df['group'].isin(df.loc[m, 'group'])]

    Saída:

      group  open  close  stop
0     x   100    105   104
1     x   150    150   104
2     x   200    200   104
3     x   160    160   104

    Explicação

    • Verifique Series.betweenambos os lados e combine com um filtro que mantenha apenas a primeira linha por grupo (usando ~+ df.duplicated).
    • Use a série booleana resultante ( m) para selecionar df['group']usando df.locsomente onde houver algum True.
    df.loc[m, 'group']

0    x
Name: group, dtype: object
    • Em seguida, passe esse resultado para Series.isinapplied to df['group'].

    Claro, esse método seguirá o índice original, em vez de classificar os grupos. Mas no exemplo do OP, os dados já estão classificados.

    • 1

relate perguntas