Início / coding / Perguntas / 77253713
Accepted
P.Jo
Asked: 2023-10-08 21:00:48 +0800 CST

chamando loc com uma matriz booleana contendo NA

  • 772

O documento pandas on loc afirma que pode ser usado com matrizes booleanas, mais especificamente afirma o seguinte:

"As entradas permitidas são: ... Uma matriz booleana (quaisquer valores NA serão tratados como falsos)."

Minha pergunta: como você pode criar uma matriz booleana contendo valores NA? Quero dizer: uma matriz numpy bool não pode conter Nans e se interpretarmos isso de forma mais liberal como afirmando "uma lista contendo valores booleanos e na", então loc lança exceções, por exemplo:

d_test = pd.DataFrame({"id": [1,2,3,5], "q1": [1,4,4,2], "q2": [4,np.nan,9,0]}, index=["a","b","c","d"])
t1 = [True,False,False,np.nan]
d_test.loc[t1] # KeyError
#same with None:
t1 = [True,False,False,None]

Então, minha pergunta: como esta frase deve ser interpretada?

pandas

2 respostas

  1. Best Answer

    Eu acho que eles significam um BooleanArray ( que pode ser criado com pd.array ):

    Matriz de dados booleanos ( True/ False) com valores ausentes .

    t1 = [True,False,False,np.nan]

out = d_test.loc[pd.array(t1, dtype="boolean")]

    Então, como np.nané tratado como False, apenas a primeira linha está sendo selecionada pela máscara.

    Saída :

    print(out)

   id  q1   q2
a   1   1 4.00
    • 3

  2. Além da resposta do @Timeless. Se você converter sua lista como Indexou Serieso tipo padrão será inferido pelo Pandas:

    >>> help(pd.Index)

...
 |  dtype : NumPy dtype (default: object)
 |      If dtype is None, we find the dtype that best fits the data.
 |      If an actual dtype is provided, we coerce to that dtype if it's safe.
 |      Otherwise, an error will be raised.
...

    No seu caso, t1será um objeto:

    >>> pd.Index(t1)
Index([True, False, False, nan], dtype='object')

    Se você forçar o dtypeas boolean:

    >>> pd.Index(t1, dtype='boolean')  # From pd.BooleanDtype()
Index([True, False, False, <NA>], dtype='boolean')

    Tome cuidado com a diferença entre booleane bool, o resultado não é o mesmo!

    >>> pd.Index(t1, dtype='bool')
Index([True, False, False, True], dtype='bool')

    Somente a forma booleana (seja qual for o dtype boolou boolean) é permitida para mascarar seu dataframe:

    >>> d_test.loc[pd.Index(t1, dtype='boolean')]  # what you want
   id  q1   q2
a   1   1  4.0

>>> d_test.loc[pd.Index(t1, dtype='bool')]  # what you don't want
   id  q1   q2
a   1   1  4.0
d   5   2  0.0
    • 3

relate perguntas