Início / coding / Perguntas / 78916021
Accepted
eazyezy
Asked: 2024-08-27 03:25:11 +0800 CST

Mesclar linhas multilinhas no dataframe do pandas com base no padrão regex

  • 772

Tenho um dataframe de coluna única semelhante a este:

cat = { 'cat': ['a','b','c-','        -d','e']}
df = pd.DataFrame(cat)

>>> print(df)
          cat
0           a
1           b
2          c-
3          -d
4           e

Preciso mesclar as linhas 2 e 3:

          cat
0           a
1           b
2          cd
3          e

Estou tentando usar regex, já que esses dados multilinhas são sempre do formato "-\n {8}-". No entanto, isso não funciona:

df['cat'] = df['cat'].str.replace("-\n {8}-","",flags=re.M)

Não consigo usar nenhuma técnica de agrupamento, então estou meio travado. Obrigado por qualquer sugestão.

python

3 respostas

  1. Best Answer

    Você pode usar uma groupbyabordagem identificando as strings que terminam -ou começam com {8}-:

    m1 = df['cat'].str.endswith('-')
m2 = df['cat'].str.match(' {8}-')
group = (~(m1.shift(fill_value=False) & m2)).cumsum().rename()

out = (df['cat'].groupby(group)
       .agg(lambda x: ''.join(x).replace('-        -', ''))
       .to_frame()
      )

    Saída:

      cat
1   a
2   b
3  cd
4   e

    Intermediários:

              cat     m1     m2  group
0           a  False  False      1
1           b  False  False      2
2          c-   True  False      3
3          -d  False   True      3
4           e  False  False      4

    Ou sem pandas, jointodas as strings com um separador personalizado (por exemplo \n, substituir splitnovamente):

    import re

out = pd.DataFrame({'col': re.sub(r'-\n {8}-', '', '\n'.join(df['cat']))
                             .split('\n')})

    Saída:

      col
0   a
1   b
2  cd
3   e
    • 1

  2. Eu faria assim:

    1. Concatenar strings "cat" deslocadas por um/não deslocadas
    2. Procure seu padrão regex nos valores recém-criados
    3. Filtrar/atualizar o dataframe
    4. Substituir os valores multilinha por uma string vazia
    tmp = df["cat"].shift() + df["cat"]
m = tmp.str.contains(r"-\s{8,}-").eq(True)

df = df[~m.shift(-1).eq(True)]
df.update(tmp[m])

df["cat"] = df["cat"].str.replace(r"-\s{8,}-", "", regex=True)

print(df)

    Impressões:

      cat
0   a
1   b
3  cd
4   e
    • 1

  3. Outra solução possível, que se baseia nos seguintes passos:

    1. Ele atualiza o valor na célula no índice da linha ne na coluna cat. Este novo valor é calculado adicionando o valor atual em catao valor na próxima linha ( n+1) da catcoluna, usando uma string vazia para preencher quaisquer valores ausentes. O resultado é então limpo removendo quaisquer ocorrências do padrão '-\n {8}-', e o valor do índice da linha ndesta série limpa é atribuído de volta a df.loc[n, 'cat'].

    2. Em seguida, ele remove a linha no índice n+1do dataframe e redefine o índice para garantir que ele seja contínuo, descartando o índice antigo.

    n = 2

df.loc[n, 'cat'] = (df['cat'].add(df['cat'].shift(-1), fill_value='')
                    .str.replace(r'-\n {8}-', '', regex=True).iloc[n])
df.drop(df.index[n+1]).reset_index(drop=True)

    Saída:

      cat
0   a
1   b
2  cd
3   e
    • 1

relate perguntas