筛选出至少有 N 行符合掩码条件的组的最佳方法是什么？

和熊猫一起

您可以groupby.transform在掩码上使用sum来生成布尔系列：

m = df['b'].gt(df['a'])
out = df[m.groupby(df['d']).transform('sum').ge(2)]

输出：

    a    b  d
0  10   30  a
1  20    3  a
2  30  200  a

中间体：

     a    b  d      m  transform('sum')  ge(2)
0   10   30  a   True                 2   True
1   20    3  a  False                 2   True
2   30  200  a   True                 2   True
3   50   25  b  False                 0  False
4   50   24  b  False                 0  False
5   50   31  b  False                 0  False
6    4   29  c   True                 1  False
7  100    2  c  False                 1  False

选择：

counts = m.groupby(df['d']).sum()

out = df[df['d'].isin(counts.index[counts>=2])]

使用numpy

或者，可以groupby使用纯 numpy 来避免昂贵的成本。

第一种方法add.reduceat要求各组是连续的：

groups = df['d'].ne(df['d'].shift()).values
m = df['b'].gt(df['a']).values
idx = np.nonzero(groups)[0]
out =  df[df['d'].isin(df['d'].iloc[idx[np.add.reduceat(m, idx)>=2]])]

第二个pandas.factorize甚至numpy.bincount可以与打乱顺序的组一起工作：

a, idx = pd.factorize(df['d'])
out = df[df['d'].isin(idx[np.bincount(a, weights=m) >= 2])]

中间体：

## reduceat approach
groups = df['d'].ne(df['d'].shift()).values
# array([ True, False, False,  True, False, False,  True, False])
m = df['b'].gt(df['a']).values
# array([ True, False,  True, False, False, False,  True, False])
idx = np.nonzero(groups)[0]
# array([0, 3, 6])
np.add.reduceat(m, idx)>=2
# array([ True, False, False])
idx[np.add.reduceat(m, idx)>=2]
# array([0])
df['d'].iloc[idx[np.add.reduceat(m, idx)>=2]]
# ['a']
df['d'].isin(df['d'].iloc[idx[np.add.reduceat(m, idx)>=2]])
# array([ True,  True,  True, False, False, False, False, False])

## bincount approach
a, idx = pd.factorize(df['d'])
a
# array([0, 0, 0, 1, 1, 1, 2, 2])
idx
# Index(['a', 'b', 'c'], dtype='object')
np.bincount(a, weights=m)
# array([2., 0., 1.])
np.bincount(a, weights=m) >= 2
# array([ True, False, False])
idx[np.bincount(a, weights=m) >= 2]
# Index(['a'], dtype='object')
df['d'].isin(idx[np.bincount(a, weights=m) >= 2])
# array([ True,  True,  True, False, False, False, False, False])

时间安排

包含 3 行 (排序成员) 的组：

包含 3 行的组 (打乱成员顺序；注意：不包括reduceat. )：

固定数量为 20 个组（大小大致相同），且成员连续：

固定有 20 个组 (大小大致相等)，组员随机排序 (注意：不包括reduceat. )：