Qual é a melhor maneira de filtrar os grupos que têm pelo menos N linhas que atendem às condições de uma máscara?

Com pandas

Você pode usar a groupby.transformna máscara com sumpara produzir uma série booleana:

m = df['b'].gt(df['a'])
out = df[m.groupby(df['d']).transform('sum').ge(2)]

Saída:

    a    b  d
0  10   30  a
1  20    3  a
2  30  200  a

Intermediários:

     a    b  d      m  transform('sum')  ge(2)
0   10   30  a   True                 2   True
1   20    3  a  False                 2   True
2   30  200  a   True                 2   True
3   50   25  b  False                 0  False
4   50   24  b  False                 0  False
5   50   31  b  False                 0  False
6    4   29  c   True                 1  False
7  100    2  c  False                 1  False

Alternativa:

counts = m.groupby(df['d']).sum()

out = df[df['d'].isin(counts.index[counts>=2])]

Com numpy

Alternativamente, pode-se evitar o custo groupbycom o numpy puro.

Esta primeira abordagem add.reduceatrequer que os grupos sejam consecutivos:

groups = df['d'].ne(df['d'].shift()).values
m = df['b'].gt(df['a']).values
idx = np.nonzero(groups)[0]
out =  df[df['d'].isin(df['d'].iloc[idx[np.add.reduceat(m, idx)>=2]])]

Este segundo com pandas.factorizee numpy.bincountfuncionaria mesmo com grupos embaralhados:

a, idx = pd.factorize(df['d'])
out = df[df['d'].isin(idx[np.bincount(a, weights=m) >= 2])]

Intermediários:

## reduceat approach
groups = df['d'].ne(df['d'].shift()).values
# array([ True, False, False,  True, False, False,  True, False])
m = df['b'].gt(df['a']).values
# array([ True, False,  True, False, False, False,  True, False])
idx = np.nonzero(groups)[0]
# array([0, 3, 6])
np.add.reduceat(m, idx)>=2
# array([ True, False, False])
idx[np.add.reduceat(m, idx)>=2]
# array([0])
df['d'].iloc[idx[np.add.reduceat(m, idx)>=2]]
# ['a']
df['d'].isin(df['d'].iloc[idx[np.add.reduceat(m, idx)>=2]])
# array([ True,  True,  True, False, False, False, False, False])

## bincount approach
a, idx = pd.factorize(df['d'])
a
# array([0, 0, 0, 1, 1, 1, 2, 2])
idx
# Index(['a', 'b', 'c'], dtype='object')
np.bincount(a, weights=m)
# array([2., 0., 1.])
np.bincount(a, weights=m) >= 2
# array([ True, False, False])
idx[np.bincount(a, weights=m) >= 2]
# Index(['a'], dtype='object')
df['d'].isin(idx[np.bincount(a, weights=m) >= 2])
# array([ True,  True,  True, False, False, False, False, False])

Horários

Com grupos de 3 linhas (membros classificados):

Com grupos de 3 linhas (membros embaralhados; NB. excluindo reduceat. ):

Com um número fixo de 20 grupos (de tamanho aproximadamente igual) com membros consecutivos:

Com um número fixo de 20 grupos (de tamanho aproximadamente igual) com membros embaralhados ( NB. excluindo reduceat. ):