Início / coding / Perguntas / 76920401
Accepted
Karthik S
Asked: 2023-08-17 17:54:51 +0800 CST

Como verificar se todas as colunas flutuantes em um Pandas DataFrame são aproximadamente iguais ou próximas

  • 772

Eu tenho um dataframe com 12 colunas. Neles tenho muitas colunas flutuantes, que preciso verificar se os valores são aproximadamente iguais ou próximos o suficiente.

Dados de amostra:

df = pd.DataFrame({'id' : ['abc', 'pqr', 'xyz', 'cbz'],
                  'col1' : [0.0234, 0.001852, 4.123, 0.0012],
                  'col2' : [0.0235, 0.001851, 0.0123, 0.0013],
                  'col3' : [0.0233, 0.001849, 0.124, 0.0011]})
df

    id  col1      col2      col3
0   abc 0.0234    0.0235    0.0233
1   pqr 0.001852  0.001851  0.001849
2   xyz 4.123     0.0123    0.124

Posso usar np.isclosee definir um limite aplicável ao meu caso, que seria 0,062. Mas alguém pode me informar como comparar se col1 é aproximadamente igual a col2 aproximadamente igual a col3. Se até 1 coluna não satisfizer a condição, o resultado deverá ser Falsecomo no caso de id xyz.

python

3 respostas

  1. Best Answer

    Você pode comparar todas as colunas de transposição primeiro e testar se todos os valores são Trues por numpy.all:

    df = pd.DataFrame({'id' : ['abc', 'pqr', 'xyz', 'cbz'],
                  'col1' : [0.0234, 0.001852, 4.123, 0.0012],
                  'col2' : [0.0235, 0.001851, 0.0123, 0.0013],
                  'col3' : [0.0233, 0.001849, 0.124, 0.0011]})

cols= ['col1','col2','col3']

out = np.isclose(df[cols[1:]].to_numpy(), 
                 df[cols[0]].to_numpy()[:, None], 
                 atol=0.062).all(axis=1)
print (out)
[ True  True False  True]

print (df.loc[out, 'id'])
0    abc
1    pqr
3    cbz
Name: id, dtype: object
    • 1

  2. IIUC, você pode usar:

    thresh = 0.062

arr = df.set_index("id").to_numpy()

diff = np.abs(arr[:, :, None] - arr[:, None, :])

m = np.all(diff <= thresh, axis=(1, 2))

    Saída :

    >>> m
# array([ True,  True, False,  True])

>>> df["id"].loc[~m].values
# array(['xyz'], dtype=object)
    • 1

  3. Lista abrangente usando np.isclosee combinando matrizes booleanas com np.logical_and:

    float_columns = df.select_dtypes(float).columns
condition = np.logical_and(
    *[np.isclose(df[previous_column], df[next_column], atol=0.062)
    for previous_column, next_column in zip(float_columns[:-1], float_columns[1:])]
)
>>> condition
array([ True,  True, False])
    • 0

relate perguntas