主页 / coding / 问题 / 78992703
Accepted
AmirX
Asked: 2024-09-17 13:57:41 +0800 CST

通过有条件地检查每个组第一行的值来过滤组的最佳方法是什么？

  • 772

这是我的数据框：

import pandas as pd
df = pd.DataFrame(
    {
        'group': list('xxxxyyy'),
        'open': [100, 150, 200, 160, 300, 150, 170],
        'close': [105, 150, 200, 160, 350, 150, 170],
        'stop': [104, 104, 104, 104, 400, 400, 400]
    }
)

预期输出是x根据group列返回的组：

  group  open  close  stop
0     x   100    105   104
1     x   150    150   104
2     x   200    200   104
3     x   160    160   104

逻辑：

我想检查df.stop.iloc[0]每个组是否在df.open.iloc[0]和之间df.close.iloc[0]。如果在这两者之间，我想返回整个组。

这是我的尝试。它有效，但我认为有更好的方法。请注意，在if子句中，需要检查两个条件。

def func(df):
    s = df.stop.iloc[0]
    o = df.open.iloc[0]
    c = df.close.iloc[0]

    if (o <= s <= c) or (c <= s <= o):
        return df

out = df.groupby('group').apply(func).reset_index(drop=True)
python

2 个回答

  1. Best Answer

    然后，你可以groupby.first用以下方法制作一个面具isin：

    tmp = df.groupby('group').first()
keep = tmp.index[tmp['stop'].between(tmp['open'], tmp['close'])
                |tmp['stop'].between(tmp['close'], tmp['open'])
                ]
df[df['group'].isin(keep)]

    输出：

      group  open  close  stop
0     x   100    105   104
1     x   150    150   104
2     x   200    200   104
3     x   160    160   104

    中间的tmp：

           open  close  stop  o<=s<=c  c<=s<=o     OR
group                                            
x       100    105   104     True    False   True
y       300    350   400    False    False  False

    和groupby.filter：

    def func(df):
    s = df.stop.iloc[0]
    o = df.open.iloc[0]
    c = df.close.iloc[0]

    return (o <= s <= c) or (c <= s <= o)

df.groupby('group').filter(func)

    独立组：

    g = df.groupby('group')
tmp = g.first()

keep = tmp.index[tmp['stop'].between(tmp['open'], tmp['close'])
                |tmp['stop'].between(tmp['close'], tmp['open'])
                ]

for x in keep:
    print(f'group {x}')
    print(g.get_group(x))

    输出：

    group x
  group  open  close  stop
0     x   100    105   104
1     x   150    150   104
2     x   200    200   104
3     x   160    160   104

    没有 groupby

    对于这种特殊情况，您甚至可以跳过groupby并将其替换为drop_duplicates：

    tmp = df.drop_duplicates('group')
keep = tmp.loc[tmp['stop'].between(tmp['open'], tmp['close'])
              |tmp['stop'].between(tmp['close'], tmp['open']),
               'group']

out = df[df['group'].isin(keep)]

    时间安排

    测试了约 7K 行，每组 3 行

    # filter
266 ms ± 10.9 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

# groupby.first + isin
1.63 ms ± 24.3 µs per loop (mean ± std. dev. of 7 runs, 1,000 loops each)

# drop_duplicates + isin
1.34 ms ± 34.8 µs per loop (mean ± std. dev. of 7 runs, 1,000 loops each)
    • 2

  2. 您不一定需df.groupby要这样做：

    m = (df['stop'].between(df['open'], df['close']) | 
     df['stop'].between(df['close'], df['open'])
     ) & (~df.duplicated())

out = df[df['group'].isin(df.loc[m, 'group'])]

    输出：

      group  open  close  stop
0     x   100    105   104
1     x   150    150   104
2     x   200    200   104
3     x   160    160   104

    解释

    • 检查Series.between两侧并结合仅保留每组第一行的过滤器（使用~+ df.duplicated）。
    • 使用结果布尔系列（ ）从仅存在的地方进行m选择。df['group']df.locTrue
    df.loc[m, 'group']

0    x
Name: group, dtype: object
    • 接下来，将该结果传递给Series.isin应用于df['group']。

    当然，这种方法会遵循原始索引，而不是对组进行排序。但在OP的例子中，数据已经排序了。

    • 1

相关问题