Início / coding / Perguntas / 76928719
Accepted
Andi
Asked: 2023-08-18 18:59:53 +0800 CST

Espremer linhas contendo valores ausentes no dataframe de vários índices

  • 772

Considere o seguinte índice múltiplo pd.DataFrameque possui vários valores ausentes.

import numpy as np
import pandas as pd

# Create multi-index
index = pd.MultiIndex.from_tuples(
    [
        ("A", "X", "I"),
        ("A", "X", "I"),
        ("A", "Y", "I"),
        ("A", "Y", "II"),
        ("A", "Y", "I"),
    ],
    names=["level_1", "level_2", "level_3"],
)

# Create dataframe
data = [[1, np.nan], [np.nan, 1], [np.nan, 1], [np.nan, 1], [1, np.nan]]
df = pd.DataFrame(data, index=index, columns=["column1", "column2"])

print(df)

                         column1  column2
level_1 level_2 level_3                  
A       X       I            1.0      NaN
                I            NaN      1.0
        Y       I            NaN      1.0
                II           NaN      1.0
                I            1.0      NaN

Como posso espremer as linhas o máximo possível? Estou procurando o seguinte resultado:

                         column1  column2
level_1 level_2 level_3                  
A       X       I            1.0      1.0
        Y       I            1.0      1.0
                II           NaN      1.0
python

2 respostas

  1. Best Answer

    Se possível valores agregados por índices, por exemplo mean:

    df = df.groupby(level=[0,1,2]).mean()
print(df)
                         column1  column2
level_1 level_2 level_3                  
A       X       I            1.0      1.0
        Y       I            1.0      1.0
                II           NaN      1.0

    Se você quiser evitar a agregação:

    f = lambda x: x.apply(lambda x: x.sort_values(key=lambda z: z.isna()))

df = df.groupby(level=[0,1,2], group_keys=False).apply(f).dropna(how='all')
print(df)
                         column1  column2
level_1 level_2 level_3                  
A       X       I            1.0      1.0
        Y       I            1.0      1.0
                II           NaN      1.0
    • 3

  2. Outra maneira:

    df.groupby(["level_1", "level_2", "level_3"]).first()
    • 2

relate perguntas