RKIDEV's questions

Estou tentando mesclar três dataframes usando intersection(). Como podemos verificar se todos os dataframes existem/foram inicializados antes de executar intersection() sem vários blocos de verificação if-else? Se algum dataframe não estiver atribuído, não o assuma durante a execução de intersection(). Às vezes, recebo o erro - UnboundLocalError: variável local 'df_2' referenciada antes da atribuição , porque o arquivo2 não existe.

OU existe alguma outra maneira fácil de conseguir isso?

Abaixo está minha abordagem:

if os.path.exists(file1):
        df_1 = pd.read_csv(file1, header=None, names=header_1, sep=',', index_col=None)
if os.path.exists(file2):
        df_2 = pd.read_csv(file2, header=None, names=header_2, sep=',', index_col=None)
if os.path.exists(file3):
        df_3 = pd.read_csv(file3, header=None, names=header_3, sep=',', index_col=None)

common_columns = df_1.columns.intersection(df_2.columns).intersection(df_3.columns)
filtered_1 = df_1[common_columns]
filtered_2 = df_2[common_columns]
filtered_3 = df_3[common_columns]
concatenated_df = pd.concat([filtered_1, filtered_2, filtered_3], ignore_index=True)

Estou tentando iterar várias linhas de colunas e multiplicar a enésima linha por n+1 linha e depois adicionar colunas.

Testei o código abaixo e está funcionando bem.

Existe alguma outra maneira simples de realizar a subtração e a multiplicação juntas?

import pandas as pd

df = pd.DataFrame({'C': ["Spark","PySpark","Python","pandas","Java"],
                    'F' : [2,4,3,5,4],
                    'D':[3,4,6,5,5]})

df1 = pd.DataFrame({'C': ["Spark","PySpark","Python","pandas","Java"],
                    'F': [1,2,1,2,1],
                    'D':[1,2,2,2,1]})

df = pd.merge(df, df1, on="C")

df['F_x-F_y'] = df['F_x'] - df['F_y']
df['D_x-D_y'] = df['D_x'] - df['D_y']

for index, row in df.iterrows():
    df['F_mul'] = df['F_x-F_y'].mul(df['F_x-F_y'].shift())
    df['D_mul'] = df['D_x-D_y'].mul(df['D_x-D_y'].shift())

df['F+D'] = df['F_mul'] + df['D_mul']

Saída -

         C  F_x  D_x  F_y  D_y  F_x-F_y  D_x-D_y  F_mul  D_mul   F+D
0    Spark    2    3    1    1        1        2    NaN    NaN   NaN
1  PySpark    4    4    2    2        2        2    2.0    4.0   6.0
2   Python    3    6    1    2        2        4    4.0    8.0  12.0
3   pandas    5    5    2    2        3        3    6.0   12.0  18.0
4     Java    4    5    1    1        3        4    9.0   12.0  21.0